几行代码增强模型稳定性：R-drop

定义

Dropout做两次，让模型分别预测，然后Loss加上两次预测结果的KL距离，也即：两次Dropout结果要在分布上接近。

为什么work

让模型更“稳”。

Dropout有训练预测不一致问题：Dropout后，每次训练的是不同Dropout的融合模型，预测的时候用的是关闭Dropout的单模型，两者未必等价。

R-drop的想法是，如果infer的时候也开着Dropout，那么结果之间差距不大。或者说，Dropout对模型没什么影响。大概类似这样：

R-Drop通过增加一个正则项，来强化模型对Dropout的鲁棒性，使得不同的Dropout下模型的输出基本一致，因此能降低这种不一致性。

代码

pred = model(subgraph)[train_pred_idx]
_use_r_drop =False
if _use_r_drop:
    kld = nn.KLDivLoss(reduction='batchmean')
    pred2 = model(subgraph)[train_pred_idx]
    kl_weight =4.0
    ce_loss =(criterion(pred, target)+ criterion(pred2, target))/2
    kl_1 = kld(F.log_softmax(pred, dim=-1), F.softmax(pred2, dim=-1)).sum(-1)
    kl_2 = kld(F.log_softmax(pred2, dim=-1), F.softmax(pred, dim=-1)).sum(-1)
    loss = ce_loss + kl_weight *(kl_1 + kl_2)/2
else:
    loss = criterion(pred, target)

参数设置：

一般 kl_weight = 4.0 或者 5.0

计算消耗

多了一次forward过程，计算消耗大概增加50%

适用场景

所有的正则化方法都是在自己数据集上试了才知道好不好。不过有一些如下的经验：

1、数据量：较小的时候，相当于样本增强；数据量大了可能没什么用

2、特征：如果特征是one hot的（类似词向量），不同特征之间的欧式距离都是，扰动了也没啥用；如果是图像中那种实数的，小扰动就可以是一个新图像，那么稳定就很重要。