【文献阅读】Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty

使用自监督学习可以提高模型的鲁棒性和不确定性

Abstract

（1）现有的方法落后于基于监督学习的方法，只是在不需要或者减少需要标签方面有好处

（2）自监督可以在对抗样本、输入数据损坏、输入标签损坏等多种场景有较好的鲁棒性(本文不做note)

（3）自我监督对困难的、接近分布的离群值的OOD检测有很大的好处，以至于它的性能超过了完全监督的方法

Introduction

1、某些方面提高模型的鲁棒性

\qquad 当与有标记数据的有监督学习一起使用时，自我监督并不能显著提高准确性，但它可以提高在如下几个方面提高模型的鲁棒性：(1)对抗样本 （2）标签损坏 （3）常见的输入图像损坏，例如图像上有雾、雪、模糊等等

2、提高了near-distribution样本的检测效果

\qquad 当样本是接近真实分布的、较难检测出来的ood样本时，自监督学习可以显著提高OOD检测效果，事实上，使用CIFAR-10和ImageNet上的自监督学习技术进行外分布检测，我们甚至能够超越完全监督的方法。

3、评价

\qquad 自监督学习不需要不断赶超全监督学习，即使模型单纯的准确度没有很大的改变，但是提高了模型的鲁棒性和不确定性，而且很重要的是不需要很大的模型规模和额外的数据，它们可以与特定任务的方法一起使用，而不需要额外的假设。通过使用自监督学习，我们在对抗鲁棒性、标签腐败、常见输入腐败和分布外检测方面取得了切实的进展

Out-of-Distribution Detection

4.2 One-class learning

前人做法

（1）RotNet 是一种成功的自我监督学习技术，它通过预测输入是否旋转0°、90°、180°或270°来学习其表示

Spyros Gidaris, Praveer Singh, and Nikos Komodakis. Unsupervised representation learning by predicting image rotations.

作者做法：在训练完RotNet之后，我们使用softmax概率来确定一个example是分布内还是分布外。为此，我们向网络提供原始示例(0°)，并记录RotNet分配给0°类的softmax概率。然后我们将示例旋转90度，并记录分配给90度类的概率。我们对180°和270°做同样的处理，然后把这些概率加起来。分布内样本的概率总和往往高于OOD样本的概率总和，所以这个概率总和的负值就是异常分数。

（2）接下来，Golan和El-Yaniv预测输入是否发生了转换如旋转，以及预测输入是否水平翻转；我们是第一个将这种方法与自我监督学习联系起来的，我们改进了他们的方法（？？？？？问号脸）

Izhak Golan and Ran El-Yaniv. Deep anomaly detection using geometric transformations. CoRR,abs/1805.10917, 2018.

作者方法

Cifar10数据集

对于我们的自监督的one-class OOD检测器，我们使用深度网络来预测几何变换，从而超越了之前的工作和完全监督的网络。example旋转0°，90°，180°，或270°，然后在垂直和水平方向平移0或±8像素。这些转换组合在一起，网络有三个softmax头:一个用于预测旋转($R$)，一个用于预测垂直平移( T v