小白也能看懂的pytorch——线性回归

本篇文章的服务对象是没有武力值也想和pytorch沾沾边的小白朋友们，主要的内容是对于经典代码的逐行解读，解读内容以注释的形式展示。

本篇文章的代码来源为（李沐 动手学深度学习pytorch版）

import random
import torch
from d2l import torch as d2l
from matplotlib import pyplot as plt

# 首先构造一个人造数据集，好处：知到真实的w,b
def synthetic_data(w, b, num_examples):  # w,b给定，我们也知道要生成多少个样本
    """生成y=Xw+b+噪声"""
    X = torch.normal(0, 1, (num_examples, len(w)))  # 均值为0，方差为1的随机数，有n个样本，列数是W的长度
    y = torch.matmul(X, w) + b  # 公式（下面一行是随机的噪音）
    y += torch.normal(0, 0.01, y.shape)  # 随机的噪音，均值为0方差为0.01，形状和y一样
    # 此处b是个一维向量，当matmul的第一个参数是2维向量，第2个参数是一维向量时，返回的是矩阵和向量的乘积，结果是向量，因此，y需要reshape
    # 其中reshape函数后面的（-1）表示由pytorch自己判断有很多行，但是1，只有1列
    return X, y.reshape((-1, 1))


true_w = torch.tensor([2, -3.4])  # 给定数据直接创建一个tensor
true_b = 4.2  # 给定b
features, labels = synthetic_data(true_w, true_b, 1000)  # 生成特征和标注，其中1000是num_examples，即，有多少个样本
# 展示一下
print('features:', features[0],'\nlabel:', labels[0])

d2l.set_figsize()
# features，把特征的第一列画一下，把label的第一列画一下
d2l.plt.scatter(features[:, 1].detach().numpy(),
                labels.detach().numpy(), 1)  # 一些pytorch版本要先detach出来再转到numpy里面
plt.show()

# 每次读取一个小批量，该函数生成大小为batch_size的小批量
def data_iter(batch_size, features, labels):
    num_examples = len(features)  # num_examples样本的数量
    indices = list(range(num_examples))  # range表示从0到（n-1）的全部范围，indices索引
    # 这些样本是随机读取的，没有特定的顺序
    random.shuffle(indices)  # shuffle列表中的元素随机打乱，打乱以后就可以用随机的数据去访问样本，注意：stuffle只作用于list，不作用于tensor
    for i in range(0, num_examples, batch_size):  # 从0到num_examples截止，每次跳batch_size个大小
        batch_indices = torch.tensor(
            indices[i: min(i + batch_size, num_examples)])  # 最后一次的batch_size可能会不足，所以就取最小值。
        yield features[batch_indices], labels[batch_indices]  # yield作用和return相似，但是会记住这个位置下次迭代从这个位置开始


batch_size = 10  # 给定小批量的大小

for X, y in data_iter(batch_size, features, labels):  # 调用这个函数，得到一个10*2的tensor，y是一个10*1的一个向量
    print(X, '\n', y)
    break
# 定义初始化模型
w = torch.normal(0, 0.01, size=(2,1), requires_grad=True)  # 随机初始化为均值为0，方差为0.01的正态分布，长为2的一个向量
# requires_grad=True 的作用是让 backward 可以追踪这个参数并且计算它的梯度。需要计算梯度所以requires_grad=True
b = torch.zeros(1, requires_grad=True)  # 偏差

def linreg(X, w, b):  #@save
    """线性回归模型"""
    return torch.matmul(X, w) + b

# 定义损失函数，方法为平方损失函数，有公式的   注意这里没有求和，求和部分在后面的运行部分
def squared_loss(y_hat, y):  #y是真实值，hat是预测值
    # 元素个数是一样的，但是可能一个是行一个是列之类，所以reshape，并且这个得出来的是一个向量
    return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2


def sgd(params, lr, batch_size):
    """小批量随机梯度下降"""
    with torch.no_grad():  # 现在不要计算梯度
        for param in params:  # 对于每一个参数，可能是w可能是b
            param -= lr * param.grad / batch_size  # （lr学习率）梯度储存在.grad里面  这里除以，得出了均值
            param.grad.zero_()  # pytorch不会自动把梯度设成0，要手动把梯度设成0

# 上文中已将所有的模块都设计好了，下面开始训练
# 指定一些超参数
lr = 0.03 # 学习率
num_epochs = 3  # 训练三遍
net = linreg  # net（模型）直接等于之前设定的linreg，也方便了后续改用其他的模型
loss = squared_loss  # loss定义为均方损失

#  训练的途径，之后也差不多，用两层for
for epoch in range(num_epochs):
    for X, y in data_iter(batch_size, features, labels):  # 每次拿出一个批量大小的xy
        l = loss(net(X, w, b), y)  # X和y的小批量损失,net(X, w, b)这个是预测的y，再和真实的y一起做损失
        # 因为l形状是(batch_size,1)，而不是一个标量。l中的所有元素被加到一起，
        # 并以此计算关于[w,b]的梯度
        l.sum().backward()  # 均方求和的求和体现在这里，.sum()是求和，.backward()是算梯度
        sgd([w, b], lr, batch_size)  # 使用参数的梯度更新参数（sgd是之前定义的小批量随机梯度下降）
    # 这里是在一周期以后进行的进度评价
    with torch.no_grad():  # 不需要梯度
        train_l = loss(net(features, w, b), labels)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')

# 由于我们是做的人工数据集，我们是知到真实的w和b的所以我们可以通过学习的结果和真是的结果作对比
print(f'w的估计误差: {true_w - w.reshape(true_w.shape)}')
print(f'b的估计误差: {true_b - b}')

# 可以改变学习率看看，学习率过大或者过小对于结果的影响

新手上路多多包涵，如有错误多多指教。