深度学习中常用的优化器有:SGD(随机梯度下降)、Adam、Adagrad、RMSprop 等。
以下是使用 PyTorch 实现这些优化器的代码示例:
1. SGD 优化器:
import torch
import torch.optim as optim
# 定义模型和损失函数
model = ...
criterion = ...
# 定义 SGD 优化器
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
2. Adam 优化器:
import torch
import torch.optim as optim
# 定义模型和损失函数
model = ...
criterion = ...
# 定义 Adam 优化器
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999))
3. Adagrad 优化器:
import torch
import torch.optim as optim
# 定义模型和损失函数
model = ...
criterion = ...
# 定义 Adagrad 优化器
optimizer = optim.Adagrad(model.parameters(), lr=0.01, lr_decay=0, weight_decay=0)
4. RMSprop 优化器:
import torch
import torch.optim as optim
# 定义模型和损失函数
model = ...
criterion = ...
# 定义 RMSprop 优化器
optimizer = optim.RMSprop(model.parameters(), lr=0.01, alpha=0.99)
你可以根据自己的实际需求选择合适的优化器来训练深度学习模型。