torch.optim.Adam 是 PyTorch 中实现 Adam 优化算法的类。下面是 torch.optim.Adam 的主要参数及其说明:
torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-8, weight_decay=0, amsgrad=False)
-
params
(必须参数): 这是一个包含了需要优化的参数(张量)的迭代器,通常是模型的参数model.parameters()
。 -
lr
(默认值为 0.001): 学习率(learning rate)。它是一个正数,控制每次参数更新的步长。 -
betas
(默认值为 (0.9, 0.999)): 用于计算梯度的一阶和二阶矩的指数衰减因子。betas
是一个长度为 2 的元组,分别对应于一阶矩(平均梯度)和二阶矩(梯度平方的平均值)。通常情况下,这些值保持在接近 1 的范围内。 -
eps
(默认值为 1e-8): 为了数值稳定性而添加到分母中的小常数。防止除零错误。 -
weight_decay
(默认值为 0): 权重衰减,也称为 L2 正则化项。它用于控制参数的幅度,以防止过拟合。通常设置为一个小的正数。 -
amsgrad
(默认值为 False): 是否使用 AMSGrad 变种。当设置为 True 时,AMSGrad 变种保留了梯度的历史信息,这有助于一些情况下防止学习率过早下降。
示例,演示如何在 PyTorch 中使用 torch.optim.Adam
:
import torch
import torch.optim as optim
# 定义模型和损失函数
model = torch.nn.Linear(10, 1)
criterion = torch.nn.MSELoss()
# 定义优化器
optimizer = optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-8, weight_decay=0)
# 在训练循环中使用优化器
for epoch in range(epochs):
# Forward pass
output = model(input_data)
loss = criterion(output, target)
# Backward pass and optimization
optimizer.zero_grad()
loss.backward()
optimizer.step()
示例中,创建了一个线性模型,使用均方误差损失,并使用 torch.optim.Adam 作为优化器。在训练循环中,通过执行前向传播、反向传播和优化步骤来更新模型参数。