论文阅读——Unsupervised Data Augmentation for Consistency Training

之前存在的问题：应用高斯噪声和dropout噪声（无法保证一致性）
解决方式：在图像分类问题中使用了randAugment和TSA训练方式

主要说一下在无监督数据上的数据增强：
数据增强一直在监督学习中起着锦上添花的作用，因为到目前为止数据增强通常是用在数据集相对比较小的标记数据集上，以达到扩充数据集的多样性的作用，但是数据增强起到的作用依然是受限的。基于此，在一致性训练（即原始输入图片和添加噪声色图片，对模型的输出没有影响，输出是一致的）框架下，把这些监督学习中优秀的数据增强方法扩展到半监督学习任务当中。

在半监督中，利用无标记数据进行进一步平滑的方法可以概括为两步：

• 先给一个输入x，然后输出分布p(y|x)，再给一个添加了噪声的x,输出分布为p(y|x,c)
• 最小化上述两个分布之间的距离
  好处：
• 会让模型对抗噪声的能力得到提高，当输入发生改变的时候，输出不会发生大的变化，会比较平滑.
• 可以把标签信息从标签数据传递无标签数据中

损失函数由两部分组成，一部分是有监督标签的交叉熵函数，另一部分是无标签的的一致性损失函数(本文使用最小化无标签数据增广数据和无标签数据的KL散度)，引入参数 λ 是为了平衡监督损失和无监督损失，一般设置为1，并对标签数据和无标签数据使用不同的批处理大小。并发现，在一些数据集上，对无标签数据使用更大的batch会带来更好的性能。

总的来说，前部分损失是为了分类，后部分损失是为了提升模型的鲁棒性。

在图像分类任务上，使用了自动增强，即使用强化学习来搜索图像增强的最优组合，其性能明显优于任何的人工设计的优化方法。（这里的自动增强看看）

UDA 的成功，得益于对特定任务使用定制的数据增广算法。比如，对于图像数据使用智能增广技术 AutoAugment，这种算法使用强化学习搜索增广策略以最小化训练过程中的验证误差（Validation Error）。此方法非常有效，它发现对于街景门牌号数据集（SVHN），最好的增广方法是剪切扭曲以及对背景和数字的单独变色。而对于CIFAR10，最好的增广方法是对颜色的微调，比如亮度调节。
为何数据增广对半监督学习重要呢？UDA这篇文章做了细致讲解。半监督学习强迫神经网络对增广之后的未标记数据作一致性正则化预测 (consistency enforcing)。MixMatch 对增广后的未标记数据预测结果使用 L2 Loss, 而 UDA 使用 KL divergence 。两者没有本质不同，可能 L2 loss 提供了更强的约束。这里有一个隐含要求，数据增广不能破坏图片的真实标签。比如一张图片 x 的标签是猫，但在数据增广的时候，刚好截取了没有猫的背景部分生成新的训练数据 x’。此时 x’ 的标签与 x 不同。强迫神经网络对 x 和 x’ 作出一致性正则化的预测（将两者都预测为猫）毫无意义。UDA 紧抓这一点，使用智能增广技术，AutoAugment，使得数据增广不破坏标签，一举达到半监督学习的当前最强。UDA 比较了几种图像增广技术，发现 AutoAugment 效果最好，

训练技巧：
TSA：training signal annealing
因为前半部分的标签数据比较少，后面的无标签数据比较多，所以前半部分必定会随着训练的增加，发生过拟合的现象。所以为了防止过拟合，文章提出了一种TSA的方法，该方法仅仅只针对标记数据，通过改变阈值来防止过拟合。有三种函数方式：

• 当模型容易过拟合，也就是模型会在短时间内对样本做出高概率的预测，这时我们期望阈值的增长更新一下，这样可以删除更多容易训练的样本，因此可以选择exp
• 当模型很难过拟合时，即模型会花费较长时间才能对样本做出高概率的预测，这样相同时间内，模型能够做出高概率预测的样本就比较少，此时需要删掉的样本也比较少，因此我们期望阈值在短时间内会比较大，这样删除的样本比较少，因此可以采用log对数函数
• 对于一般样本，直接采用均匀增长的线性函数即可

还采用了sharpen技术，当标签数据很少时，未标签数据和预测的未标签数据分布会很平坦。因此，在计算KL散度时，主要贡献的部分来自于标签数据。

参考链接：
https://blog.csdn.net/daixiangzi/article/details/102989630
https://blog.csdn.net/qq_44015059/article/details/106363317