Pytorch深度学习实践（b站刘二大人）_05讲（用Pytorch实现线性回归）

Pytorch Fashion（具有很强的扩展性）：
1.准备数据集
2.设计模型
3.构造损失函数和优化器
4.训练周期（前馈、反馈、更新）
　　
　　在本次代码的编写中，我尝试了很多种优化器的使用，包括 SGD，Adagrad ，Adam ，ASGD, RMSprop ,Rprop，Adamax,以及LBFGS，每个优化器所对应的Loss下降图也会在文章的最后给出。
　　其中LBFGS的使用和以上其他的优化器有一些不同，LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型，这个闭包应当清空梯度， 计算损失，然后返回，即optimizer.step(closure)；其他的优化器支持简化的版本即optimizer.step()。
下面介绍一下两种方式使用的模板：
optimizer.step(closure)

for input, target in dataset:

　　def closure():

　　　　optimizer.zero_grad()

　　　　output = model(input)

　　　　loss = loss_fn(output, target)

　　　　loss.backward()

　　return loss optimizer.step(closure)

optimizer.step()

for input, target in dataset:

　　optimizer.zero_grad()

　　output = model(input)

　　loss = loss_fn(output, target)

　　loss.backward()

　　optimizer.step()

代码如下：

import torch
import matplotlib.pyplot as plt
# 1.准备数据集           2.设计模型
# 3.构造损失函数和优化器   4.训练周期（前馈、反馈、更新）

x_data = torch