2020-11-11

labelSmooth

labelSmooth也称为标签平滑: 提高模型的泛化能力，对于未知域任务，分类任务，可以提高精度。主要解决噪音问题：例如在如果具有噪音的标签参与训练，就会造成过拟合的情况。
$$\begin{array}{l}\text{Loss}=-{\sum }_{i=1}^K{p}_i\log q_i\\ p_i=\{\begin{array}{l}1,\text{if }(i=y)\\ 0,\text{if }(i\ne y)\end{array}\end{array}$$
上式是交叉熵函数损失，为了达到最好的拟合效果，最优的预测概率分布为：
$$Z_i=\{\begin{array}{l}+\infty ,\text{if }(i=y)\\ 0,\text{if }(i\ne y)\end{array}$$
改进之后，更新后的分布就相当于往真实分布中加入了噪声，为了便于计算，该噪声服从简单的均匀分布：
$$\text{ Loss }=-\sum _{i=1}^K{p}_i\log q_i⟼{\mathrm{Loss}}_i=\{\begin{array}{l}(1-\epsilon {)}^{\ast }\mathrm{Loss},if(i=y)\\ {\epsilon }^{\ast }\mathrm{Loss},\text{if }(i\ne y)\end{array}$$
$$Z_i=\{\begin{array}{l}+\infty ,if(i=y)\\ 0,if(i\ne y)\end{array}⟶Z_i=\{\begin{array}{l}\log \frac{(k-1)(1-\epsilon )}{\epsilon +\alpha },if(i=y)\\ \alpha ,if(i\ne y)\end{array}$$
阿尔法可以是任意实数，最终通过抑制正负样本输出差值，使得网络能有更好的泛化能力。

pytorch实现

code链接

class LabelSmoothingCrossEntropy(nn.Module):
    def __init__(self, eps=0.1, reduction='mean'):
        super(LabelSmoothingCrossEntropy, self).__init__()
        self.eps = eps
        self.reduction = reduction

    def forward(self, output, target):
        c = output.size()[-1]
        log_preds = F.log_softmax(output, dim=-1)
        if self.reduction=='sum':
            loss = -log_preds.sum()
        else:
            loss = -log_preds.sum(dim=-1)
            if self.reduction=='mean':
                loss = loss.mean()
        return loss*self.eps/c + (1-self.eps) * F.nll_loss(log_preds, target, reduction=self.reduction)