pytorch优化3：常用的优化器

深度学习中常用的优化器有：SGD（随机梯度下降）、Adam、Adagrad、RMSprop 等。

以下是使用 PyTorch 实现这些优化器的代码示例：

1. SGD 优化器：

import torch
import torch.optim as optim

# 定义模型和损失函数
model = ...
criterion = ...

# 定义 SGD 优化器
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

2. Adam 优化器：

import torch
import torch.optim as optim

# 定义模型和损失函数
model = ...
criterion = ...

# 定义 Adam 优化器
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999))

3. Adagrad 优化器：
 

import torch
import torch.optim as optim

# 定义模型和损失函数
model = ...
criterion = ...

# 定义 Adagrad 优化器
optimizer = optim.Adagrad(model.parameters(), lr=0.01, lr_decay=0, weight_decay=0)

4. RMSprop 优化器：

import torch
import torch.optim as optim

# 定义模型和损失函数
model = ...
criterion = ...

# 定义 RMSprop 优化器
optimizer = optim.RMSprop(model.parameters(), lr=0.01, alpha=0.99)

你可以根据自己的实际需求选择合适的优化器来训练深度学习模型。