UP:B站-刘二大人
原视频链接:04.反向传播_哔哩哔哩_bilibili
'''
首先,介绍一下Tensor和tensor的区别:
在PyTorch中,Tensor和tensor都能用于生成新的张量:
a=torch.Tensor([1,2])
print(a)
tensor([1., 2.])
a=torch.tensor([1,2])
print(a)
tensor([1, 2])
torch.Tensor生成的张量默认采用数据类型“FloatTensor”,
而torch.tensor则是识别输入数据的数据类型,从而生成对应数据类型的张量:
torch.tensor(data, dtype=None, device=None, requires_grad=False) # 第二个参数为指定数据类型,第四个参数是指是否需要计算梯度
其中data可以是:list, tuple, NumPy ndarray, scalar和其他类型。
torch.tensor会从data中的数据部分做拷贝(而不是直接引用),根据原始数据类型生成相应的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor。
1、下面程序中的w是Tensor(张量类型),Tensor中包含data和grad,data和grad也是Tensor,grad初始为None。
2、w.data 表示张量w的值,其本身也是张量,输出格式tensor[数]。 w.grad 表示张量w的梯度,其本身w.grad是张量,用时(标量计算时)需要取w.grad.data,表示张量w.grad的值,输出格式tensor[数]。用w.grad.item(),表示返回的是一个具体的数值,输出格式[数]
3、调用l.backward()方法后w.grad为Tensor,故更新w.data时需使用w.grad.data来更新梯度值。
4、如果w需要计算梯度,那构建的计算图中,跟w相关的tensor都默认需要计算梯度,如:forward函数的返回值是Tensor,loss函数的返回值也是Tensor。
5、本算法中反向传播主要体现在,l.backward()。调用该方法后w.grad由None更新为Tensor类型,且w.grad.data的值用于后续w.data的更新。
6、l.backward()会把计算图中所有需要梯度(grad)的地方都会求出来,然后把梯度都存在对应的待求的参数中,最终计算图被释放。
7、取tensor中的data是不会构建计算图的。
8、# .item()用于在只包含一个元素的Tensor中提取值,把张量变成标量,注意是只包含一个元素,否则的话使用.tolist()
'''
import torch
import numpy as np
import matplotlib.pyplot as plt
''' y = w * x '''
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.tensor([1.0]) # w的初值为1.0,是Tensor类型
w.requires_grad = True # 需要计算梯度,默认是False
def forward(x):
return x * w # w是一个Tensor,x也会自动被调整成Tensor,所以返回值也是Tensor
def loss(x, y):
y_pred = forward(x)
return (y_pred - y) ** 2 # 返回值也是Tensor
print("predict (before training)", 4, forward(4).item()) # .item()用于在只包含一个元素的Tensor中提取值,注意是只包含一个元素,否则的话使用.tolist()
epoch_list = []
loss_list = []
for epoch in range(100):
for x, y in zip(x_data, y_data):
l = loss(x, y) # l是一个张量,tensor主要是在建立计算图
l.backward() # 每次进行一次反向传播,计算图就会被释放,在下一次迭代中构建新的计算图
print('\tgrad:', x, y, l, w.grad.item())
w.data = w.data - 0.01 * w.grad.data # 权重更新时,注意grad也是一个tensor,所以需要加.data去更新数值
w.grad.data.zero_() # 把权重中的梯度数据全部清零,如果不清零下一次运算时会把新的梯度加到上一次的梯度上
epoch_list.append(epoch)
loss_list.append(l.item())
print('epoch:', epoch, l.item()) # 取出loss使用l.item,不要直接使用l(l是tensor会构建计算图)
print("predict (after training)", 4, forward(4).item())
plt.plot(epoch_list, loss_list)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()