PyTorch深度学习实践 第四讲---反向传播

Demo 4:反向传播 back propagation
来源：B站 刘二大人

说明：

1. 视频中a = torch.Tensor([1.0]), 本文中更改为 a = torch.tensor([1.0])。两种方法都可以，详见这里

# 定义Tensor
import torch
a = torch.tensor([1.0])
a.requires_grad = True


# 打印看看数据类型
print(a)
print(a.data)
print(a.type())
print(a.data.type())
print(a.grad)
print(type(a.grad))

说明：

1. w是Tensor(张量类型)，Tensor中包含data和grad，data和grad也是Tensor。
2. grad初始为None，调用l.backward()方法后w.grad为Tensor，故更新w.data时需使用w.grad.data。
3. 如果w需要计算梯度，那构建的计算图中，跟w相关的tensor都默认需要计算梯度。
4. w是Tensor， forward函数的返回值也是Tensor，loss函数的返回值也是Tensor
5. 本算法中反向传播主要体现在l.backward()。调用该方法后：w.grad由None更新为Tensor类型，且w.grad.data的值用于后续w.data的更新。
6. l.backward()会把计算图中所有需要梯度(grad)的地方都会求出来，然后把梯度都存在对应的待求的参数中，最终计算图被释放。
7. 取tensor中的data不会构建计算图,直接取w或者l会构建计算图。

# 反向传播示例

x_ = [1.0, 2.0, 3.0]
y_ = [2.0, 4.0, 6.0]

w = torch.tensor([1.0])  # tensor定义初始值
w.requires_grad = True  # 需要计算梯度


def forward(x):
    return x * w  # w 是tensor


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


'''
梯度现在自动计算了，不需要自己写梯度函数了
def gradient(x, y):
    return 2 * x * (x * w - y)
'''
print('predict (before training)', 4, forward(4).item())

for epoch in range(100):
    for x, y in zip(x_, y_):
        l = loss(x, y)  # l是张量， tensor在此处建立计算图，计算loss
        l.backward()  # 调用backward（）自动计算梯度
        print('\tgrad', x, y, w.grad.item())
        w.data -= 0.01 * w.grad.data  # 更新权重， 减去自身在这一个epoch里的梯度值

        w.grad.data.zero_()  # 更新之后记得把梯度值至0，不然梯度会累加

        print('progress:', epoch, l.item())  # 必须用.item()， 直接用l会构建计算图，就不是取数据了

print('predict (after training)', 4, forward(4).item())

作业参考另一个up主

# 作业:也就是函数y = w1 *x + w2 * 2 +b 的反向传播代码

w1 = torch.tensor([1.0])
w1.requires_grad = True
w2 = torch.tensor([1.0])
w2.requires_grad = True
b = torch.tensor([1.0])
b.requires_grad = True


def forward(x):
    return x * w1 + x * w2 + b


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


print('predict (before training)', 4, forward(4).item())
for epoch in range(100):
    for x, y in zip(x_, y_):
        l = loss(x, y)  # 计算损失
        l.backward()  # 调用backward自动计算损失的梯度
        print('\tgrad:', x, y, w1.grad.item(), w2.grad.item(), b.grad.item())
        w1.data -= 0.01 * w1.grad.data  # 前面backward之后w1就会出来梯度的数据，用学习率乘一下然后减掉就行了
        w2.data -= 0.01 * w2.grad.data
        b.data -= 0.01 * b.grad.data
        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()
    print('epoch:', epoch, l.item())

print('predict (after training)', 4, forward(4).item())