使用自监督学习可以提高模型的鲁棒性和不确定性
文章目录
Abstract
(1)现有的方法落后于基于监督学习的方法,只是在不需要或者减少需要标签方面有好处
(2)自监督可以在对抗样本、输入数据损坏、输入标签损坏等多种场景有较好的鲁棒性(本文不做note)
(3)自我监督对困难的、接近分布的离群值的OOD检测有很大的好处,以至于它的性能超过了完全监督的方法
Introduction
1、某些方面提高模型的鲁棒性
\qquad 当与有标记数据的有监督学习一起使用时,自我监督并不能显著提高准确性,但它可以提高在如下几个方面提高模型的鲁棒性:(1)对抗样本 (2)标签损坏 (3)常见的输入图像损坏,例如图像上有雾、雪、模糊等等
2、提高了near-distribution样本的检测效果
\qquad 当样本是接近真实分布的、较难检测出来的ood样本时,自监督学习可以显著提高OOD检测效果,事实上,使用CIFAR-10和ImageNet上的自监督学习技术进行外分布检测,我们甚至能够超越完全监督的方法。
3、评价
\qquad 自监督学习不需要不断赶超全监督学习,即使模型单纯的准确度没有很大的改变,但是提高了模型的鲁棒性和不确定性,而且很重要的是不需要很大的模型规模和额外的数据,它们可以与特定任务的方法一起使用,而不需要额外的假设。通过使用自监督学习,我们在对抗鲁棒性、标签腐败、常见输入腐败和分布外检测方面取得了切实的进展
Out-of-Distribution Detection
4.2 One-class learning
前人做法
(1)RotNet 是一种成功的自我监督学习技术,它通过预测输入是否旋转0°、90°、180°或270°来学习其表示
Spyros Gidaris, Praveer Singh, and Nikos Komodakis. Unsupervised representation learning by predicting image rotations.
作者做法:在训练完RotNet之后,我们使用softmax概率来确定一个example是分布内还是分布外。为此,我们向网络提供原始示例(0°),并记录RotNet分配给0°类的softmax概率。然后我们将示例旋转90度,并记录分配给90度类的概率。我们对180°和270°做同样的处理,然后把这些概率加起来。分布内样本的概率总和往往高于OOD样本的概率总和,所以这个概率总和的负值就是异常分数。
(2)接下来,Golan和El-Yaniv预测输入是否发生了转换如旋转,以及预测输入是否水平翻转;我们是第一个将这种方法与自我监督学习联系起来的,我们改进了他们的方法(?????问号脸)
Izhak Golan and Ran El-Yaniv. Deep anomaly detection using geometric transformations. CoRR,abs/1805.10917, 2018.
作者方法
Cifar10数据集
对于我们的自监督的one-class OOD检测器,我们使用深度网络来预测几何变换,从而超越了之前的工作和完全监督的网络。example旋转0°,90°,180°,或270°,然后在垂直和水平方向平移0或±8像素。这些转换组合在一起,网络有三个softmax头:一个用于预测旋转( R R R),一个用于预测垂直平移( T v