课堂笔记
使用pytorch完成如下:
PyTorch框架
A. 准备数据集
B. 设计模型
不再需要手工推算梯度公式,重点在于构造计算图:
在 loss 处调用backward对整个图进行反向传播,注意loss一定要是标量,因此要对loss求和,根据需求看是否需要求均值。
C. 构造损失函数和优化器
D. 写训练周期
实现代码:
代码汇总如下:
import torch
import matplotlib.pyplot as plt
#loss 必须是一个标量才可以用backward。
#1.准备数据集
x_data = torch.Tensor([[1.0],[2.0],[3.0]])
y_data = torch.Tensor([[2.0],[4.0],[6.0]])
#2.使用Class设计模型
class LinearModel(torch.nn.Module):
#构造函数,初始化
def __init__(self):
super(LinearModel,self).__init__()
self.liner = torch.nn.Linear(1,1) #(1,1)表示输入和输出的维度
#前向传播函数
#forward()相当于对父类_init_()进行重载
def forward(self,x):
y_pred = self.liner(x)
return y_pred
model = LinearModel() #创建类LinearModel的实例
#3.构建损失函数和优化器的选择
criterion = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
#4.进行训练迭代
epoch_list =[]
loss_list=[]
for epoch in range(1000):
y_pred = model(x_data)
loss = criterion(y_pred,y_data)
print(epoch,loss.item()) #.item()获取数值大小
#由.backward()计算的grad将被累积。 因此,在反向传播之前,记住将梯度设置为0。
optimizer.zero_grad()
loss.backward()
optimizer.step() #进行更新update
epoch_list.append(epoch+1)
loss_list.append(loss.item())
#输出权重w和偏置b
print('w=',model.liner.weight.item())
print('b=',model.liner.bias.item())
#测试模型
x_test = torch.Tensor([4.0])
y_test = model(x_test)
print('y_pred = ',y_test.data)
# 画图
plt.plot(epoch_list,loss_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()
结果:
课后练习:不同优化器,损失降低差别
-
torch.optim.Adagrad
-
torch.optim.Adam
-
torch.optim.Adamax
-
torch.optim.ASGD
-
torch.optim.LBFGS
参考资料:https://blog.csdn.net/gdymind/article/details/82708920
使用多次运算,更改训练部分代码
for epoch in range(1000):
#由.backward()计算的grad将被累积。 因此,在反向传播之前,记住将梯度设置为0。
def closure():
y_pred = model(x_data)
loss = criterion(y_pred,y_data)
print(epoch,loss.item()) #.item()获取数值大小
optimizer.zero_grad()
loss.backward()
return loss
optimizer.step(closure) #进行更新update
epoch_list.append(epoch+1)
loss_list.append(loss.item())
-
torch.optim.RMSprop
-
torch.optim.Rprop
-
torch.optim.SGD
学习资料
系列文章索引
教程指路:【《PyTorch深度学习实践》完结合集】 https://www.bilibili.com/video/BV1Y7411d7Ys?share_source=copy_web&vd_source=3d4224b4fa4af57813fe954f52f8fbe7