【Pytorch】学习笔记（二）

用Pytorch实现线性回归

1. 准备数据集
2. 设计模型
3. 构造损失函数和优化器
4. 随机梯度下降
5. 前馈计算损失，反向传播计算梯度，更新参数

1. 准备数据集

# 准备数据集
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[2.0],[4.0],[6.0]])

2.设计模型

# 构造函数
# nn:Neural Network 神经网络
class LinearModel(torch.nn.Module):
    def __init__(self):  # 初始化
        super(LinearModel,self).__init__()  # 继承父类
        self.linear = torch.nn.Linear(1,1)  # 构造对象，包含权重w和偏置b（w*输入+b，如下图）

    def forward(self,x):  # 前馈是要执行的计算
        y_pred = self.linear(x)
        return  y_pred

model = LinearModel()  # 实例化

pytorch中的线性单元如下：

线性单元类说明：

模型的矩阵表示理解

上图说明输入和输出维度决定了权重w的维度

3. 构造损失函数和优化器

损失函数（均方误差）

# 构造损失函数
# 需要参数（预测值，真值）
# 计算过程损失向量--->求和得到损失标量
criterion = torch.nn.MSELoss(size_average=False)

优化器

# 构造优化器（不会构建计算图）model.parameters()对所有的权重进行优化
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)

4. 训练循环（前馈，反向传播，更新权重）

# 训练循环
for epoch in range(100):
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)  # 标量
    print(epoch,loss)

    optimizer.zero_grad()  # 梯度归零
    loss.backward()  # 损失反向传播
    optimizer.step()  # 权重更新

5. 完整代码

"""
2021.08.04
author:alian
用pytorch实现线性回归
"""
import torch
# 1.准备数据集
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[2.0],[4.0],[6.0]])

# 2.构造函数
class LinearModel(torch.nn.Module):
    def __init__(self):  # 初始化
        super(LinearModel,self).__init__()
        self.linear = torch.nn.Linear(1,1)  # 构造对象，包含权重w和偏置b

    def forward(self,x):  # 前馈是要执行的计算
        y_pred = self.linear(x)
        return  y_pred

model = LinearModel()
# 3.构造损失函数和优化器
criterion = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
# 4.训练循环
for epoch in range(100):
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)
    print(epoch,loss)

    optimizer.zero_grad()  # 梯度归零
    loss.backward()  # 损失反向传播
    optimizer.step()  # 权重更新 等价于w.data = w.data-0.01*w.grad.data

# Output weight and bias
print('w=',model.linear.weight.item())
print('b=',model.linear.bias.item())

# Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred=',y_test.data)

解释：model.linear.weight.item()

6. torch中的优化器

torch.optim.Adagrad
torch.optim.Adam
torch.optim.Adamax
torch.optim.ASGD
torch.optim.LBFGS
torch.optim.RMSprop
torch.optim.Rprop
torch.optim.SGD

7. 官网链接

关于pytorch使用，阅读官网文档

https://pytorch.org/tutorials/beginner/pytorch_with_examples.html