1 基本介绍
用于防止在训练神经网络时出现梯度爆炸的问题。
梯度裁剪通过限制梯度的范数来防止梯度的值变得过大
2 工作方式
-
计算所有参数的梯度的范数。范数可以是任意的p-范数,通过
norm_type
参数设置,默认为 2-范数(即欧几里得范数)。 -
将梯度按比例缩放以确保其范数不超过
max_norm
。
3 基本使用方法
torch.nn.utils.clip_grad_norm_(
parameters,
max_norm,
norm_type=2.0,
error_if_nonfinite=False,
foreach=None)
4 参数说明
parameters | 要进行梯度范数裁剪的张量或张量的可迭代集合 |
max_norm | 梯度的最大范数。 |
max_norm | 用于计算范数的类型。默认是 2,表示 2-范数。你也可以使用 1 表示 1-范数,或 'inf' 表示无穷范数 |
error_if_nonfinite | 如果设置为 True ,当梯度的总范数是 nan、inf 或 -inf 时将抛出错误。默认是 False 。 |
foreach | 是否使用基于 foreach 的更快实现。如果为 None ,则对于 CUDA 和 CPU 的本机张量使用 foreach 实现,并且对于其他设备类型默默地回退到慢速实现 |
5 举例
# 假设 model 是你的神经网络
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
# ... 在你的训练循环中
optimizer.zero_grad()
output = model(input)
loss = loss_fn(output, target)
loss.backward()
# 在执行 optimizer.step() 之前,先裁剪梯度
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()