PyTorch学习3：反向传播

---

前言

介绍深度学习中的反向传播

一、为什么要用反向传播机制

解析式能够得到且简单是可以直接求导数的具体表达，但是很复杂时无法求出具体导数。这就导致无法得到梯度，因此需要反向传播机制。
思想：将网络看成一个图，在图上传播梯度。根据链式法则得到具体梯度。

二、使用步骤

1.程序步骤

1.给定需要训练参数的初值
2.写模型函数
3.写Loss计算函数
4.进行训练过程，得到Tensor中的数据标量使用.item()，反向传播计算梯度利用.backward()

2.示例1

模型为y=wx
代码如下（示例）：

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = torch.tensor([1.0])  # w的初值为1.0
w.requires_grad = True  # 需要计算梯度


def forward(x):
    return x * w  # w是一个Tensor,x自动类型转换，输出为Tensor


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


print("predict (before training)", 4, forward(4).item())
epoch_list = []
cost_list = []
for epoch in range(100):
    sum_l = 0
    for x, y in zip(x_data, y_data):
        l = loss(x, y)  # l是一个张量，tensor主要是在建立计算图 forward, compute the loss
        l.backward()  # backward,compute grad for Tensor whose requires_grad set to True
        print('\tgrad:', x, y, w.grad.item())
        sum_l+=l.item()
        w.data = w.data - 0.01 * w.grad.data  # 权重更新时，注意grad也是一个tensor

        w.grad.data.zero_()  # after update, remember set the grad to zero

    print('progress:', epoch, sum_l/len(x_data))  # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）
    epoch_list.append(epoch)
    cost_list.append(sum_l/len(x_data))

print("final w:", w.item())
print("predict (after training)", 4, forward(4).item())
plt.plot(epoch_list, cost_list)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show()

得到如下结果

3.示例2

模型为y=w1x^2+w2x+b
代码如下（示例）：

import numpy as np
import matplotlib.pyplot as plt
import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w1 = torch.Tensor([1.0]) # 初始权值
w1.requires_grad = True # 计算梯度，默认是不计算的
w2 = torch.Tensor([1.0])
w2.requires_grad = True
b = torch.Tensor([1.0])
b.requires_grad = True

def forward(x):
    return w1 * x**2 + w2 * x + b

def loss(x,y):#构建计算图
    y_pred = forward(x)
    return (y_pred-y) **2

print('Predict (befortraining)',4,forward(4))
epoch_list = []
cost_list = []
for epoch in range(100):
    sum_loss = 0.0

    for x,y in zip(x_data,y_data):
        l = loss(x, y)
        l.backward()
        sum_loss += l.item()
        print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
        w1.data = w1.data - 0.01*w1.grad.data #注意这里的grad是一个tensor，所以要取他的data
        w2.data = w2.data - 0.01 * w2.grad.data
        b.data = b.data - 0.01 * b.grad.data
        w1.grad.data.zero_() #释放之前计算的梯度
        w2.grad.data.zero_()
        b.grad.data.zero_()
    print('Epoch:',epoch,'Loss:',sum_loss/len(x_data))

    epoch_list.append(epoch)
    cost_list.append(sum_loss/len(x_data))


print('Predict(after training)',4,forward(4).item())
print('final w1:',w1.item())
print('final w2:',w2.item())
print('final b:',b.item())
plt.plot(epoch_list, cost_list)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show()

得到如下结果

总结

PyTorch学习3：反向传播