pytorch深度学习实践（刘二大人）课堂代码&作业——线性回归

一、课堂代码

1.torch.nn.linear

构造linear对象，对象里包含了w和b，即直接利用linear实现wx+b（linear也继承自module，可以自动实现反向传播）

2.torch.nn.MSELoss

损失函数MSE包含2个参数：size_average(求均值，一般只考虑这个参数)、reduce(求和降维)

3.torch.optim.SGD

SGD优化器，设置需要更新的模型参数和学习率并在训练过程中迭代优化

import torch
import numpy as np
import matplotlib.pyplot as plt

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])

'''
1.把模型定义成一个类，继承自Module
2.最少要实现两个函数：
    一是构造函数__init__()，是初始化对象的时候默认调用的函数
    二是forward()，是前馈过程中需要执行的计算
3.继承自Module的对象会自动地根据你构建的计算图帮你实现backward
'''
class LinearModel(torch.nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()   #这一行照着做就行，别管
        self.linear = torch.nn.Linear(1, 1)   #构造linear对象，对象里包含了w和b，即直接利用linear实现wx+b（linear也继承自module，可以自动实现反向传播）
    
    def forward(self, x):
        y_pred = self.linear(x)   #nn.Linear已经包含了让实例可像函数一样调用的方法，通常是调用forward（）
        return y_pred

model = LinearModel()  #同上，model也是可以调用的 model(x)

critertion = torch.nn.MSELoss(size_average=False)  #损失函数MSE包含2个参数：size_average(求均值，一般只考虑这个参数)、reduce(求和降维)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

'''
训练循环过程：
    1.y_predict
    2.loss
    3.backward
    4.更新权重
'''
l_list = []
epoch_list = []
for epoch in range(100):
    y_pred = model(x_data)
    loss = critertion(y_pred, y_data)
    print(epoch, loss.item())
    epoch_list.append(epoch)
    l_list.append(loss.item())

    optimizer.zero_grad()  #.backward()计算的梯度会累积，因此在反向传播前记得梯度归零
    loss.backward()    #反向传播
    optimizer.step()    #更新权重


#Output weight and bias
print('w =', model.linear.weight.item())
print('b =', model.linear.bias.item())

#画图
plt.plot(epoch_list, l_list)
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.savefig('线性回归.png')

#Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred =', y_test.data)

二、课后作业

尝试使用其他优化器并画出损失：

我已经在上面的代码中添加了绘制loss曲线的功能，本模型使用SGD优化器和adam优化器迭代100个epoch的loss曲线如下，大家可以尝试一下使用其他优化器，其他epoch并画出图像，对比一下效果~

SGD：

adam：

三、总结训练流程