PyTorch学习记录（二）梯度下降算法与反向传播

第一次接触pytorch，本贴仅记录学习过程，侵删

在B站看完了视频的P3.梯度下降算法以及P4.反向传播后，先记录一些笔记。

视频地址：《PyTorch深度学习实践》完结合集 04. 反向传播
真的强烈推荐刘二大人的这个课程，老师讲的太清楚了！我本来是准备直接在PyTorch官网里看PyTorch 1.4 中文文档 & 教程的，但是总会碰到一些自己不理解的地方，需要花费一些时间去搜索、理解。后来无意之间在B站发现了这个视频以后，发现PyTorch文档配合视频真的可以说是理解毫无障碍了。

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.Tensor([1.0])
w.requires_grad = True


def forward(x):
    return x * w


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


print("predict (before training)", 4, forward(4).item())

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # 根据此函数可以画出一个计算图
        l.backward()  # 把计算链路上所有梯度都求出来，求完后存入变量并将计算图释放
        # 若下次再执行loss计算，则会再生成一个新的计算图
        # 每进行一次反向传播，都将释放计算图，准备下一次的计算图
        print('\tgrad:', x, y, w.grad.item(), w)
        #  w.grad.item()是将梯度中的数值直接拿出来变成一个标量，也是为了防止产生计算图
        w.data = w.data - 0.01 * w.grad.data  # grad被用于更新w
        # 这里不能直接用w.grad，因为Tensor包含了data和grad,w.grad也是一个Tensor
        #  这里我们要取出w.grad的data，取出data的好处就是它不会建立计算图
        #  这里我们的目的就是修改权重w的数值,我们不希望在修改数值时将来我们还要对它求梯度，

        w.grad.data.zero_()
        # 使用.backward() 得到的grad是会叠加的
        # 当我们使用下一个.backward() 且未将grad.data清零时，得到的grad是被叠加过后的grad

    print('progress:', epoch, l.item())

print("predict(after training)", 4, forward(4).item())

接下来完成P4.反向传播的作业
作业一：利用计算图来计算梯度

这个我就不在这贴了

作业二：利用PyTorch来计算梯度

import torch

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w1 = torch.Tensor([1.0])
w1.requires_grad = True
w2 = torch.Tensor([1.0])
w2.requires_grad = True
b = torch.Tensor([1.0])
b.requires_grad = True


def forward(x):
    return x * x * w1 + x * w2 + b


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


print("predict (before training)", 4, forward(4).item())

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print('\tgrad:', x, y, w1.grad.item(), w2.grad.item(), b.grad.item())
        w1.data = w1.data - 0.01 * w1.grad.data
        w2.data = w2.data - 0.01 * w2.grad.data
        b.data = b.data - 0.01 * b.grad.data

        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()

    print('progress:', epoch, l.item())

print("predict(after training)", 4, forward(4).item())

之前在视频的评论里有大佬也分享了他的笔记以及作业，侵删
指路：PyTorch学习（三）–反向传播