论文阅读ProSelfLC: Progressive Self Label Correction for Training Robust Deep Neural Networks

最新推荐文章于 2024-07-31 14:30:10 发布

一线之隔

最新推荐文章于 2024-07-31 14:30:10 发布

阅读量1.6k

点赞数

分类专栏： paper 文章标签： python 机器学习深度学习

本文链接：https://blog.csdn.net/qq_44622669/article/details/121381067

版权

7 篇文章 0 订阅

订阅专栏

Abstract

首先作者给出三种常用的鲁棒性方法：output regularisation(OR), self and non-self label correction (LC) 即正则化，自我矫正和非自我矫正；给出motivation：

how to automatically decide the trust degree of a learner as training goes is not well answered in the literature(SelfLC的样本信任度)
Some methods penalise while the others reward low-entropy predictions，which is better(SelfLC的策略选择)

这一部分做作者具体说明了OR, LC(Non-SelfLC, SelfLC)方法

OR：
1. 直接惩罚了正确输出------软化标签
2. 对错误信息没有充分利用
  
  CP方法中使用“-”，而后续SelfLC是“+”。个人理解CP核心在于惩罚自信的预测，当预测值很接近1时，修改后的标签值会变得比较小，例如q=1，p=0.9， $\epsilon$ =0.2，q_cp=（1-0.2）-0.2*0.9=0.62，过于接近1会使得loss变大，因此思想不同于SelfLC。
  可以明显的看到标签软化和惩罚自信预测，因为(1- $\epsilon$ )q，会必然无条件的降低q_cp
LC：
1. Non-SelfLC：依赖其他模型的输出（KD中T-net和S-net）
  依赖于辅助模型的预测
2. SelfLC：依赖模型本身
SelfLC：
学习目标t=(1 − $\epsilon$ )q + $\epsilon$ ;p
q为target独热标签，p为预测值，∈为1时绝对相信自己的标签，s为0是绝对相信原始标签
ProSelfLC

关于SelfLC对标签信任度的问题：

学习初期：早期的模型倾向于学习整体模式而非某个噪声，给出的标签信任度远大于预测的标签
学习中后期：此时模型学习到一定信息，对标签有一定的修改能力

关于SelfLC的策略选择问题：使用奖励低熵预测的策略

本节给出比较多的定义和证明，放了一些我觉得比较重要结论，证明暂时没有细看

总公式如下

g在初期训练时，t<Γ/2，可得到g(t) < 0.5，∈ < 0.5。这将导致model更加相信标注的结果，自身只学习相似性结构。
g在后期训练时，t>Γ/2，可得到g(t) > 0.5，这有利于提高mode的预测
l在后期训练时值较大，源于预测的置信度逐步提高

作者给出不同阶段的置信度

可以看出g(t)前后期差异很大，但是由于g(t)和l§的相乘关系，即使在后期训练，对于错误的低l§样本给的总置信度也是很低的，而正确样本在训练后期，由于g(t)和l§都很高，因此总的分数也高
修改标签操作：在t足够大(模型学习到有效的数据结构模型)且预测值跟原标签差距很大时，对标签进行修改。
作者举例说明，p=[0.95, 0.01, 0.04], q=[0, 0, 1],∈=0.8,

关注