PyTorch 深度学习实践（3）反向传播

b站视频链接：https://www.bilibili.com/video/BV1Y7411d7Ys?p=4

这节课老师讲了反向传播的基本原理，感觉很好理解。
这次用了pytorch框架，所以要提前先学一点点pytorch的基础内容，例如tensor
推荐官网文档学习和视频结合

代码：

# 要会画计算图
import torch
import matplotlib.pyplot as plt

# 数据集
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
n = 3

# w是一个Tenson
w = torch.Tensor([1.0])  # y=w*x,w=1.0
w.requires_grad = True #它是需要计算梯度的，默认是不计算
# w.grad是一个计算图，w.grad.data才是梯度
# w.grad.item()是梯度的一个标量
# w.grad也是一个Tensor

def forward(x):
    return x * w  # w是一个Tensor


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


print("predict (before training)", 4, forward(4).item())
loss_list=[]
epoch_list=[]

for epoch in range(100):
    sum=0
    for x, y in zip(x_data, y_data):
        # l的计算图每次算完会自动释放
        l = loss(x, y)  # l是一个张量，tensor主要是在建立计算图 forward, compute the loss
        l.backward()  # backward,compute grad for Tensor whose requires_grad set to True
        print('\tgrad:', x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data  # 权重更新时，需要用到标量，注意grad也是一个tensor
        w.grad.data.zero_()  # after update, remember set the grad to zero
        sum+=l.item()
    #用于画图
    loss_list.append(sum/n)
    epoch_list.append(epoch)

    print('progress:', epoch, l.item())  # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）

print("predict (after training)", 4, forward(4).item())


plt.plot(epoch_list,loss_list)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()

本节作业

import torch

# 假设y=w1*x^2+w2*x+w3
x_data = [1.0, 2.0, 3.0]
y_data = [6.0, 14.0, 26.0]

# 定义3个Tenson
w1 = torch.Tensor([1.0])
w1.requires_grad = True
w2 = torch.Tensor([1.0])
w2.requires_grad = True
w3 = torch.Tensor([1.0])
w3.requires_grad = True


def forward(x):
    return w1 * x * x + w2 * x + w3


def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


print("predict (before training)", 4, forward(4).item())
loss_list = []
epoch_list = []
a=0.01#学习率
#开始训练
for epoch in range(100):
    sum=0
    for x,y in zip(x_data,y_data):
        l=loss(x,y)
        l.backward()
        print('\tgrad:', x, y, w1.grad.item(), w2.grad.item(), w3.grad.item())
        w1.data = w1.data - a * w1.grad.data
        w2.data = w2.data - a * w2.grad.data
        w3.data = w3.data - a * w3.grad.data
        w1.grad.data.zero_()
        w2.grad.data.zero_()
        w3.grad.data.zero_()
        print('progress:', epoch, l.item())  # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）

print("predict (after training)", 4, forward(4).item())