1.无监督学习概述: 生成学习VS对比学习

概述

自监督方法在深度学习中将取代当前占主导地位监督方法的预言已经存在了很长时间。 如今，自监督方法在Pascal VOC检测方面已经超过了监督方法（2019年何恺明提出的MoCo方法），并且在许多其他任务上也显示出了出色的结果。 最近自监督方法兴起的背后是他们都遵循了 contrastive learning 。

当前的机器学习方法大多依赖于人类标注信息，这种对标注信息的过度依赖有如下危险：

• 数据的内部结构远比标注提供的信息要丰富，因此通常需要大量的训练样本，但得到的模型有时是较为脆弱的。

• 在高维分类问题上，我们不能直接依赖监督信息；同时，在增强学习等问题上，获取标签的成本非常高。

• 标签信息通常适用于解决特定的任务，而不是可以做为知识一样可以重新利用。

因此，自监督学习成为一种非常有前途的方法，因为数据本身为学习算法提供了监督信息。这里，我们回顾当前新出现的几种自监督方法。

一个简单的例子

Epstein在2016年做了一个实验，受试者要求尽可能详细地画出美元图片。上图中左边为受试者按照自己的记忆画出来的一美元图片，右边为受试者携带着美元（不是一美元）然后照着画出来的一美元图片。实验表示，当有类似的美元图片做为参考时，人们画的要更好。

尽管无数次见过美元，但我们仍然不能记住它，并把它画出来。实际上&#x