Pytorch快速入门

1.一个简单的例子

import torch

"""第一步：定义自己的模型"""
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        # 声明并初始化模型所需的神经网络层
        self.mlp = torch.nn.Linear(1, 1)  # y = ax + b形式

    def forward(self, x):
        # 将__init__()声明的网络层前后连接起来
        output = self.mlp(x)
        return output

"""第二步：初始化模型，定义损失函数、优化器"""
my_model = MyModel()
LOSS = torch.nn.MSELoss()
opt = torch.optim.SGD(my_model.parameters(), lr=0.01)  # 把需要更新的参数，学习率填入优化器

# 处理数据
x = torch.tensor([[0], [1]], dtype=torch.float32)
y = torch.tensor([[1], [2]], dtype=torch.float32)

"""第三步：模型训练"""
for epoch in range(1000):
    my_model.train()  # train模式最好是放在epoch里面，防止测试时进入eval模型，再转为训练时就没进入train模式
    y_pred = my_model(x)  # 由于输入数据少，这里一个batch就是一个Epoch
    loss = LOSS(y_pred, y)  # 计算Loss
    my_model.zero_grad()  # 模型梯度清零
    loss.backward()  # 梯度反传
    opt.step()  # 模型参数更新

"""目标函数为y=x+1,打印预测的函数"""
print(f'目标函数：y=x+1\n'
      f'模型预测函数：y={float(my_model.mlp.weight.data)}x+{float(my_model.mlp.bias)}')

2.更好的模型参数优化：动态学习率 Scheduler

普通的优化器optimizer学习率从训练开始到结束都是不变