PyTorch学习（9）—优化器（optimizer）

最新推荐文章于 2024-08-23 06:00:00 发布

cchangcs

最新推荐文章于 2024-08-23 06:00:00 发布

阅读量2.1k

点赞数

分类专栏： Keras/TensorFlow/PyTorch学习与实战文章标签： PyTorch Optimizer

本文链接：https://blog.csdn.net/github_39611196/article/details/82465166

版权

Keras/TensorFlow/PyTorch学习与实战专栏收录该内容

61 篇文章 313 订阅 ¥19.90 ¥99.00

订阅专栏

本文详细讲解了如何在PyTorch中使用优化器，包括SGD、Momentum、AdaGrad、RMSProp和Adam，以加速神经网络训练。通过示例代码展示了其实现过程。

摘要由CSDN通过智能技术生成

本篇博客介绍如何在pytorch中加速神经网络的训练过程。

可以采用SGD、Momentum、AdaGrad、RMSProp、Adam等来加快神经网络的训练过程。

示例代码：

import torch
import torch.utils.data as Data
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt

# 超参数
LR = 0.01
BATCH_SIZE = 32
EPOCH = 12

# 生成假数据
# torch.unsqueeze() 的作用是将一维变二维，torch只能处理二维的数据
x = torch.unsqueeze(torch.linspace(-1, 1, 1000), dim=1)  # x data (tensor), shape(100, 1)
# 0.2 * torch.rand(x.size())增加噪点
y = x.pow(2) + 0.1 * torch.normal(torch.zeros(*x.size()))

# 输出数据图
# plt.scatter(x.numpy(), y.numpy())
# plt.show()

torch_dataset = Data.TensorDataset(data_tensor=x, tar

了解本专栏