自监督学习（十七）A critical analysis of self-supervision, or what we can learn from a single image

Introduction

本文出自牛津大学视觉几何组（Visual Geometry Group），作者在文中对现在的自监督学习方法能否有效学习到图像的特征表示了怀疑。为此，作者设计了相应的实验，发现对于网络的底层特征，即使只用一张图也可以学习地不错，但是对于高层特征，即使使用百万张图也无法获得很好的效果。因此，作者得出结论，现有的自监督学习方法还有很大的提升空间。论文地址。

Method

为了验证自监督学习方法的效果，作者选用了三个比较讲点的自监督学习方法：BiGAN、RotNet和DeepCluster。（之前的博客应该都说过）。
对于训练数据，假设共有d张图像，作者对其进行了修改，挑选其中N张图像（N远远小于d），对这N张图像进行数据增广，增广为d-N张，连同之前的N张图，又组成一个d张图的数据集。这样，通过控制N的大小，就可以控制训练数据中图像的数量。

Experiments

作者做了很多组实验，在这里只放最能说明问题的一组实验，作者比较了几种自监督方法在不同层不同规模训练数据下的分类精度：

可以看出，对于浅层特征，即使训练数据只有一张，其分类的准确率也挺高的，甚至比使用全部训练数据的模型还要高。对于高层特征，使用大量的数据还是有作用的，但是作用没有太明显。