深度学习笔记7_线性回归_linear_regression第2日_从零搭建线性回归（李沐，pytorch)

接上一篇笔记深度学习笔记6_线性回归_linear_regression第1日（李沐，pytorch)_贤良淑德列克星敦_CV2的博客-CSDN博客

生成了一组用于学习的数据（y=Xw+b+噪声），其中X是一个（1000,2）的张量，而y是长度为1000的向量。

在研究完迭代器函数之后，我思考了一下，为什么要制定一个batch_size呢？机器学习需要遍历整个数据集，处于内存、处理的需要，最好不要一次处理过多数据，也不要一次将所有数据都读取到内存中。因此，使用了一个迭代器来每次抽取小批量的数据进行学习，而batch_size就是来定义用什么间隔来抽取数据。怎么保证所有数据都学习到？每次都把所有数据都打乱，然后抽取小批量。这样，抽取次数足够多的时候，就能保证所有数据都学习到。

def sgd(params, lr, batch_size):  #@save
    """小批量随机梯度下降"""
    with torch.no_grad():
        for param in params:
            param -= lr * param.grad / batch_size
            param.grad.zero_()

param=parameters，指参数；lr=learing rate,学习率

为什么要使用torch.no_grad()?

原因：在一些情况下不需要求梯度，使用这个命令禁用求梯度

在此处的效果：令所有requires_grad=False

这里可以认为是按梯度下降的方向前进，前进步长由lr和batch_size两个参数确定。

 最后还有个小细节：每一步计算梯度下降之后把梯度清零，使得下次计算梯度的时候，最终下降不会被上一轮的梯度影响。

lr = 0.03
num_epochs = 3
net = linreg
loss = squared_loss

for epoch in range(num_epochs):
    for X, y in data_iter(batch_size, features, labels):
        l = loss(net(X, w, b), y)  # X和y的小批量损失
        # 因为l形状是(batch_size,1)，而不是一个标量。l中的所有元素被加到一起，
        # 并以此计算关于[w,b]的梯度
        l.sum().backward()
        sgd([w, b], lr, batch_size)  # 使用参数的梯度更新参数
    with torch.no_grad():
        train_l = loss(net(features, w, b), labels)
        print(f'epoch {epoch + 1}, loss {float(train_l.mean()):f}')

这里注意到一个操作：函数名也可以是变量！

只要提前定义了net和loss两个变量的值，就可以在后面的函数中直接使用loss()和net()，效果等同于linreg()和squared_loss()

接下来可以调一下学习率和轮次，注意学习率不能太小，不然学习速度太慢，要很多轮；也不能太大，太大的话（>=10）loss会溢出。一般loss极限就是0.0052.

另外，还学到一个jupyter notebook的小技巧：使用ctrl+/可以批量注释