《PyTorch 深度学习实践》--第5讲 实现线性回归模型

使用 PyTorch 实现线性回归模型

1. 线性回归模型实现

# 导入需要的包
import torch
from torch import nn
import matplotlib.pyplot as plt
# step1 准备数据
# x_data,y_data 分别是一个3行1列的矩阵，即分别有3个数据，每个数据只有1个维度
x_data=torch.Tensor([[1.0],[2.0],[3.0]])  # [3,1]
y_data=torch.Tensor([[2.0],[4.0],[6.0]])  # [3,1]
print(x_data.shape,y_data.shape)
# step2 构造模型
class LinearModel(nn.Module):
    #构造函数初始化
    def __init__(self):
         #调用父类的__init__
        super(LinearModel,self).__init__()
        #nn.Linear是一个类，包含 weight(w)以及 bias(b) 两个属性
        # (1,1)是指输入 x 和输出 y 的特征维度，这里数据集中的 x 和 y 的特征都是1维的
        # 该线性层需要学习的参数是 w 和 b，获取w/b的方式分别是linear.weight/linear.bias
        self.linear=nn.Linear(1,1)
    # 前向传播
    def forward(self,x):
        #调用linear中的call()，以利用父类forward()计算wx+b
        y_pred=self.linear(x)
        return y_pred
# 实例化对象
model=LinearModel()
# 定义损失函数
#构造的criterion对象所接受的参数为（y_pred,y）
criterion=nn.MSELoss(size_average=False)
# 定义优化器
optimizer=torch.optim.SGD(model.parameters(),lr=0.01)

# step3 训练模型 (前馈-反馈-更新)
total_epoch=[]
total_loss=[]
for epoch in range(100):
    total_epoch.append(epoch+1)
    # 计算预测值
    y_pred=model(x_data)
    # 计算损失
    loss=criterion(y_pred,y_data)
    total_loss.append(loss.item())
    print('epoch: ',epoch+1,'loss: ',loss.item())
    # 参数梯度清零
    optimizer.zero_grad()
    # 反向传播 计算图清除
    loss.backward()
    # 更新权重
    optimizer.step()
    
# 输出权重参数
print('w=',model.linear.weight.item())
print('b=',model.linear.bias.item())

# step4 测试
y_test=torch.Tensor([[4.0]])
y_hat=model(y_test)
print('y_test=',y_test.item(),'y_hat=',y_hat.item())
print('y_test=',y_test.data,'y_hat=',y_hat.data)

# 绘制损失图
plt.plot(total_epoch,total_loss)
plt.xlabel('epoch')
plt.ylabel('coss')
plt.title('y=wx+b')
plt.show()
    

总结：

• torch.nn.Linear类
  
• torch.nn.MSELoss类 :
  
  size_average：是否求均值
  reduce：最终是否需要降维（一般不考虑）
• torch.optim.SGD类：
  
  params：模型中所有需要训练的参数
  lr：自定义学习率
  momentum：是否需要冲量

2. 使用不同优化器训练线性回归

• torch.optim.Adagrad
  
• torch.optim.Adam
  
• torch.optim.Adamax
  
• torch.optim.ASGD
  
• torch.optim.LBFGS
  
  注意：LBFGS优化器与本篇其它的所有优化器不同，需要重复多次计算函数，因此需要传入一个闭包，让他重新计算模型，这个闭包应当清空梯度、计算损失，然后返回损失。
  闭包代码如下：

# 应用torch.optim.LBFGS 优化器需要定义闭包函数 包括清空梯度、计算损失，然后返回损失
def closure():
   optimizer.zero_grad()
   y_pred = model(x_data)
   loss = criterion(y_pred, y_data)
   loss.backward()
   return loss

此时更新函数的代码不再是简化版本：optimizer.step( )，变成如下代码：

  #传入闭包closure
   optimizer.step(closure)

• torch.optim.RMSprop
  
• torch.optim.Rprop
  
• torch.optim.SGD
  
  总结: 除了LBFGS优化器，其他优化器的使用和上面1. 实现线性模型中的代码一样 。

3. 参考

《PyTorch 深度学习实践 第5讲 笔记》: http://biranda.top/page/2/
《PyTorch 深度学习实践 第5讲 视频》: https://www.bilibili.com/video/BV1Y7411d7Ys?p=5&vd_source=435453f6c8cc1940667595c415308e92
《PyTorch 深度学习实践 博客》: https://blog.csdn.net/Learning_AI/article/details/120753908