梯度裁剪torch.nn.utils.clip_grad_norm_

1. 作用

防止梯度爆炸，即设置一个梯度大小的上限，当梯度的范数大于上限时，将该参数的范数设置为上限。

补充：范数
最常用的是p-范数，若向量$x={\left[x_1,x_2,\cdots ,x_n\right]}^{\mathrm{T}}$，则p范数定义如下
$$\Vert x{\Vert }_p={\left({\left|x_1\right|}^p+{\left|x_2\right|}^p+\cdots +{\left|x_n\right|}^p\right)}^{\frac{1}{p}}$$
L1范数：$\Vert x{\Vert }_1=\left|x_1\right|+\left|x_2\right|+\dots +\left|x_n\right|$
L2范数：$\Vert \mathrm{x}{\Vert }_2={\left({\left|{\mathrm{x}}_1\right|}^2+{\left|{\mathrm{x}}_2\right|}^2+\dots +{\left|{\mathrm{x}}_{\mathrm{n}}\right|}^2\right)}^{1/2}$
无穷范数：$\Vert \mathrm{x}{\Vert }_{\infty }=\max \left(\left|{\mathrm{x}}_1\right|,\left|{\mathrm{x}}_2\right|,\dots ,\left|{\mathrm{x}}_{\mathrm{n}}\right|\right)$
参考 如何通俗易懂地解释「范数」？

2. 使用

 torch.nn.utils.clipgrad_norm(parameters, max_norm, norm_type=2)

parameter 希望实施梯度裁剪的可迭代网络参数
max_norm 该组网络参数梯度的范数上限
norm_type 范数类型 [ 0, 1, 2…, inf ]

torch.nn.utils.clipgrad_norm()的使用应该在loss.backward()之后，optimizer.step()之前

3. 实验

loss, logits = model(input_ids=input_ids, mc_token_ids=mc_ids, labels=label)
loss.backward()
train_loss += loss.item()
for p in model.parameters():
    print(p.grad.norm())
    torch.nn.utils.clip_grad_norm_(p, 1)
    print(p.grad.norm())
optimizer.step()
optimizer.zero_grad()

执行一个循环后输出：

tensor(15.3762, device='cuda:1')
tensor(1.0000, device='cuda:1')

当范数小于1时输出

tensor(0.8803, device='cuda:1')
tensor(0.8803, device='cuda:1')