梯度惩罚(Pytorch)

起因：希望深度学习输入时小的扰动不会影响结果，我们会在输入端加一些噪声，让模型自己去适应这种扰动，从而提升整体的鲁棒性，CV领域可以直接在图像输入添加噪声，NLP领域因为输入都是one-hot形式，无法直接添加噪声，我们可以考虑在embedding之后的词向量上添加扰动，或者直接在embedding矩阵中添加扰动（FGM方法）。

 细微的噪声加入图层，对结果影响巨大

  这里取为loss的梯度，正向梯度loss下降，反向梯度loss上升。

               其中为模型参数

 

模型参数更新（ 为已经计算出来的常数）： 

 可以看出在输入中添加的扰动，近似等价于在loss函数中添加梯度惩罚项:

Pytorch简易实现：

self.optim.zero_grad()
loss.backward(retain_graph=True)      # loss梯度回溯两次，要保留计算图
#  ******************************
name_list = ['hidden_layer.0.weight'] # 需要提取梯度的层名
for name, para in model.named_parameters():
    if name in name_list:
        gp = (para.grad ** 2).sum()
        loss += 0.5 * gp * epsilon
        self.optim.zero_grad()        # 梯度清零，在新得到的loss上进行梯度更新
        loss.backward()
        break
# ******************************** 围起来的是在原先基础上需要添加的代码
self.optim.step()