用Pytorch实现线性回归
- 准备数据集
- 设计模型
- 构造损失函数和优化器
- 随机梯度下降
- 前馈计算损失,反向传播计算梯度,更新参数
1. 准备数据集
# 准备数据集
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[2.0],[4.0],[6.0]])
2.设计模型
# 构造函数
# nn:Neural Network 神经网络
class LinearModel(torch.nn.Module):
def __init__(self): # 初始化
super(LinearModel,self).__init__() # 继承父类
self.linear = torch.nn.Linear(1,1) # 构造对象,包含权重w和偏置b(w*输入+b,如下图)
def forward(self,x): # 前馈是要执行的计算
y_pred = self.linear(x)
return y_pred
model = LinearModel() # 实例化
pytorch中的线性单元如下:
线性单元类说明:
模型的矩阵表示理解
上图说明输入和输出维度决定了权重w的维度
3. 构造损失函数和优化器
损失函数(均方误差)
# 构造损失函数
# 需要参数(预测值,真值)
# 计算过程损失向量--->求和得到损失标量
criterion = torch.nn.MSELoss(size_average=False)
优化器
# 构造优化器(不会构建计算图)model.parameters()对所有的权重进行优化
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
4. 训练循环(前馈,反向传播,更新权重)
# 训练循环
for epoch in range(100):
y_pred = model(x_data)
loss = criterion(y_pred,y_data) # 标量
print(epoch,loss)
optimizer.zero_grad() # 梯度归零
loss.backward() # 损失反向传播
optimizer.step() # 权重更新
5. 完整代码
"""
2021.08.04
author:alian
用pytorch实现线性回归
"""
import torch
# 1.准备数据集
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[2.0],[4.0],[6.0]])
# 2.构造函数
class LinearModel(torch.nn.Module):
def __init__(self): # 初始化
super(LinearModel,self).__init__()
self.linear = torch.nn.Linear(1,1) # 构造对象,包含权重w和偏置b
def forward(self,x): # 前馈是要执行的计算
y_pred = self.linear(x)
return y_pred
model = LinearModel()
# 3.构造损失函数和优化器
criterion = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
# 4.训练循环
for epoch in range(100):
y_pred = model(x_data)
loss = criterion(y_pred,y_data)
print(epoch,loss)
optimizer.zero_grad() # 梯度归零
loss.backward() # 损失反向传播
optimizer.step() # 权重更新 等价于w.data = w.data-0.01*w.grad.data
# Output weight and bias
print('w=',model.linear.weight.item())
print('b=',model.linear.bias.item())
# Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred=',y_test.data)
解释:model.linear.weight.item()
6. torch中的优化器
torch.optim.Adagrad
torch.optim.Adam
torch.optim.Adamax
torch.optim.ASGD
torch.optim.LBFGS
torch.optim.RMSprop
torch.optim.Rprop
torch.optim.SGD
7. 官网链接
关于pytorch使用,阅读官网文档
https://pytorch.org/tutorials/beginner/pytorch_with_examples.html