步骤:
第一步
准备数据集
2 设计模型
3 使用自带的函数进行优化
4 训练的周期
minibatch
继承model
这里没有出现backward,是因为model中自带的有,假如自己所需要的没有,可以自己定义(使用pytorch)简单的运算可以实现的,或者你有比较好的计算方法,也可以使用fuction来继承,也是可以的。
你可能会问torch.nn.Linear(1,1)是什么意思?
不管怎么组合,目的都是为了拼出需要的维度
# 假如不知道应该输入多少个变量,可以通过定义可变函数进行,**可以将传入进来的转换成词典
def fun(*args,**kwargs):
print(args)
print(kwargs)
fun(1,2,3,4,x=3,y = 6)
(1, 2, 3, 4)
{‘x’: 3, ‘y’: 6}
criterion = torch.nn.MSELoss(size_average=False)
criterion需要y和y hat就可求出损失
False不会进行均值计算
optimizer = torch.optim.SGD(model.parameters(),lr = 0.01)
torch.optim.SGD是一个类
parameters会检查需要进行优化的变量
model.parameters()这个就可以直接找到
lr学习率固定(也可以在不同地方使用不同的学习率)
于是就可以得到优化器,它知道对哪些权重权重做优化
然后进行计算
然后backward进行反向传播
最后进行step,做更新
import torch
import numpy as np
import matplotlib.pyplot as plt
# 1 数据准备,使用torch。tensor进行
x_data = torch.tensor([[1.0],[2.0],[3.0]])
y_data = torch.tensor([[2.0],[4.0],[6.0]])
# 2 解释:定义一个类,继承Module,然后进行初始化操作
class LinearModel(torch.nn.Module):
def __init__(self):
super(LinearModel,self).__init__()
self.linear = torch.nn.Linear(1,1) # self.linear = torch.nn.Linear(1,1) 定义一个可变长的,只用输入输入和输出即可
def forward(self,x):
y_pred = self.linear(x)
return y_pred
model = LinearModel() # 创建一个类LinearModel
criterion = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(),lr = 0.01)
for epoch in range(100):
y_pred = model(x_data)
loss = criterion(y_pred,y_data)
print(epoch,loss) # 可以看到这里出现直接可以打印的loss.那是因为在内部调用了__str__,实现的打印
optimizer.zero_grad() # 涉及到权重的计算需要清零
loss.backward() # 进行反向传播
optimizer.step() # 进行更新
# output weight and bias
print('w = ',model.linear.weight.item())
print('b = ',model.linear.bias.item())
# test model
x_test = torch.tensor([[4.0]]) # 1 * 1的矩阵
y_test = model(x_test)
print('y_pred',y_test.data)
以上就是所有的运行代码,结果如下
但是出现了一个问题
可能是函数已经更新了,按照提示进行修改,发现问题解决。
修改如下
# criterion = torch.nn.MSELoss(size_average=False) # 使用size_average出现一个userwarning,please use reduction='sum' instead. 按照提示修改如下
criterion = torch.nn.MSELoss(reduction='sum') # 应该是函数已经更新了
警告问题消失
最后总结:
前面123步是为第4步进行准备
其他的梯度下降函数
参考文档
pytorch官方文档