反向传播
如果是非常复杂的网络,无法直接进行计算
但是如果把网络看作图,通过图传播梯度,就能把梯度计算出来,即反向传播。
e.g. x ∈ \in ∈Rn , w ∈ \in ∈Rm*n , b ∈ \in ∈Rm
矩阵计算书籍 Matricx cookbook https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf
不管有多少层,最后统一成了y = WX+B,没有区别,因此为了增加网络复杂程度,对每一层的输出增加一个非线性函数。
链式求导法则:
计算过程:
- 创建计算图 前馈运算 得到z
- 反向得到Loss对z的偏导
- 使用链式求导计算 Loss对x的偏导 Loss对y的偏导
- 得到相应的导数之后就可以做权重的更新了
Tensor(张量)
用来存放数据,可以是标量、向量、矩阵、高维度的数据等等。
标量是零维张量,向量是一维张量,矩阵是二维张量。
- tensor.data:表示张量w的值,其本身也是张量,输出格式tensor[数]
- tensor.grad:表示张量w的梯度,其本身w.grad是张量,用时(标量计算)需要取w.grad.data,表示张量w.grad的值,输出格式为tensor[数]。
- tensor.grad.item():梯度输出时需要取w.grad.item(),表示返回的是一个具体的数值。因此对于元素不止一个的tensor列表,使用item()会报错 ,向量不行二维更不行 ,只有标量行
- tensor.item():将张量的值作为标准python数返回。这仅适用于具有一个元素的张量。
作业
作业1:计算y = w*x(当w=1, x = 2, y=4)的梯度,理解forward和backward过程
作业2:更新模型,增加一个偏置量
作业3:代码实现标题Tensor上方图
import torch
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.tensor([1.0])
w.requires_grad = True
# 模型
def forward(x):
return x * w
# 计算损失
def loss(x, y):
return (forward(x) - y) ** 2
print('Predict (before training)', 4, forward(4).item())
epoch_list = []
loss_list = []
for epoch in range(100):
for x, y in zip(x_data, y_data):
l = loss(x, y)
l.backward()
print("\tgrad", x, y, w.grad.item(), w.data, w.grad.data)
w.data = w.data - 0.01 * w.grad.data
w.grad.data.zero_()
epoch_list.append(epoch)
loss_list.append(l.item())
print('progress:', epoch, l.item())
print('predict (after training)', 4, forward(4).item())
figure = plt.figure("反向传播")
ax = figure.add_subplot()
ax.plot(epoch_list, loss_list)
plt.show()
作业4:计算y = w1x2 + w2x + b的梯度
作业5:代码实现作业4
import torch
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w1 = torch.tensor([1.0])
w2 = torch.tensor([2.0])
b = torch.tensor([3.0])
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True
r = 0.01
# 模型
def forward(x):
return x ** 2 * w1 + x * w2 + b
# 计算损失
def loss(x, y):
return (forward(x) - y) ** 2
print('Predict (before training)', 4, forward(4).item())
epoch_list = []
mse_list = []
for epoch in range(100):
for x, y in zip(x_data, y_data):
l = loss(x, y)
l.backward()
print("\tgrad", x, y, w1.grad.item(), w2.grad.item(), b.grad.item())
w1.data = w1.data - r * w1.grad.data
w2.data = w2.data - r * w2.grad.data
b.data = b.data - r * b.grad.data
w1.grad.data.zero_()
w2.grad.data.zero_()
b.grad.data.zero_()
epoch_list.append(epoch)
mse_list.append(l.item() / len(x_data))
print('progress:', epoch, l.item())
print('predict (after training)', 4, forward(4).item())
figure = plt.figure("反向传播")
ax = figure.add_subplot()
ax.plot(epoch_list, mse_list)
plt.show()