Pytroch手动实现简单线性反向传播

使用Pytorch实现反向传播时需要注意以下几点：
（1）在定义权重的时候，是通过定义tensor来定义的，那么需要在列表中创建值，例如torch.Tensor([所需权重])。

（2）tensor（张量）中存储了两个变量分别为data和grad，其中data用来存放权重；grad其本质上也是一个tensor，用来存储损失对权重的偏导数。

（3）定义的tensor当中在Pytorch中默认定义的自动计算梯度为False，此时我们需要将他设置为True。

（4）在通过前馈函数计算损失的时候，返回的值也是一个tensor（张量），我们可以通过调用该张量的backward()方法，计算梯度。

（5）在每次更新完权重之后，我们需要将梯度清零，这里需要注意，因为如果不清零那么在后面的迭代中会一直将计算的梯度累加，所得结果不正确。

主要步骤：
（1）计算损失
（2）反向传播求梯度
（3）更新权重
（4）梯度清零

ps:
本次的代码实现，采用较为简单的线性模型，方便理解。

代码实现：

# -*- coding: utf-8 -*-
# @Time : 2022/1/25 12:20
# @Author : CH339
# @FileName: Test04.py
# @Software: PyCharm
# @Blog ：https://blog.csdn.net/weixin_56068397/article/

"""
实现反向传播
"""
import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
# 定义tensor,创建权重
W = torch.Tensor([1.0])
# 设置计算梯度，默认为False
W.requires_grad = True
# 前馈函数
def forward(x,w):
    # 这个时tensor的数乘
    return x*w
# 损失函数
def loss(x,y,w):
    y_pred = forward(x,w)
    return (y_pred-y)**2

# 迭代100次，更新权值
for epoch in range(100):
    for x,y in zip(x_data,y_data):
        # 计算损失，返回的是一个tensor
        los = loss(x,y,W)
        # 反向传播
        los.backward()
        print('\tgrad:',x,y,W.grad.item())
        # 更新权重
        # 这里的grad也是一个tensor，需要获取数值
        W.data = W-0.01*W.grad.data
        # 梯度清零
        W.grad.data.zero_()
    print("Epoch:",epoch+1,los.item())

执行结果（部分）：