PyTorch深度学习实践第四讲——反向传播

最新推荐文章于 2022-11-07 10:52:17 发布

fq00

最新推荐文章于 2022-11-07 10:52:17 发布

阅读量428

点赞数

分类专栏：深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/u013936968/article/details/112409098

版权

深度学习专栏收录该内容

4 篇文章 1 订阅

订阅专栏

反向传播

任务：用 $w1\cdot x^{2} + w2\cdot x+b$ 拟合前面的三个数据点，反向传播就是链式求导，pytorch中已经实现了梯度的自动计算，张量（Tensor）由两部分内容构成（data和grad），其中grad就是梯度（也是一个Tensor），因此要更新w的值时，要使用w.grad.data,代码实现的就是构建神经网络动态图的过程，注意由于pytorch的动态计算图，当我们使用loss.backward()和opimizer.step()进行梯度下降更新参数的时候，梯度并不会自动清零，并且这两个操作是独立操作，所以需要将w进行手动清零w.grad.data.zero_()或optimizer.zero_grad()，否则backward()的时候就会累加梯度。实际的过程就是:

1.forward()

2.计算损失loss

3.backward()

import torch
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w1 = torch.tensor([1.0])
w2 = torch.tensor([1.0])
b = torch.tensor([1.0])
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True
def forward(x):
    return w1 * x ** 2 + w2 * x + b
def loss(x, y):
    y_pred = forward(x)
    return (y - y_pred) **2 
print("predict (before training)", 4, forward(4).item())
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l = loss(x, y)
        l.backward()
        print("\tgrad:",x, y,round(w1.grad.item(),2),round(w2.grad.item(),2),round(b.grad.item(),2))
        w1.data = w1.data - 0.01 * w1.grad.data
        w2.data = w1.data - 0.01 * w2.grad.data
        b.data = b.data - 0.01 * b.grad.data
        
        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()
    print("progress:", epoch, l.item())
print("predict (after training)", 4, forward(4).item())