自监督学习

1. 两种基本的学习范式

（1）有监督的学习：利用大量的标注数据来训练模型，计算模型预测结果和真实标签之间的损失，反向传播，通过不断地学习，最终可以获得识别新样本的能力。
（2）无监督的学习：不依赖任何的标签值，通过对数据内在特征的挖掘，找到样本间的关系。如聚类任务、降维、离散点检测等。
有监督和无监督最主要的区别是模型在训练时是否需要人工标注的标签信息。

有监督学习的Pretrain-Fintune

首先从大量的有标签数据上进行训练，得到预训练的模型，然后对于新的下游任务，我们将学习到的参数进行迁移，在新的标签任务上进行微调，从而得到一个能适应新任务的网络。

2. 自监督学习

自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练。
个人理解：自监督学习是 首先从无标签数据中训练网络在数据中构造监督信息，再利用监督信息进行有监督的学习。
自监督学习有一个非常强的动机：目前，大部分神经网络的训练仍然使用的是有监督范式，需要耗费大量的标注数据，标注这些数据是非常耗时费力的。而自监督的提出就是为了打破对人工标注的依赖，即使在没有标注数据的情况下，也可以高效地训练网络。
自监督学习的核心是如何给输入数据自动生成标签，即自监督的表示学习的侧重点是如何产生对多个任务有用的良好特征
对于自监督学习，主要挑战如下：

• 对于大量的无标签数据，如何进行表征学习，如何设计有效的辅助任务pretext？
• 如何评价自监督学习到的表征？
  自监督学习的核心就是来合理构造有利于模型学习的任务。目前来说构造这些任务的方法大致可以划分为三个方面：
• 基于 pretext task
• 基于 contrastive learning
• 基于 mask image modeling
  如何自动为数据产生标签？一般的套路是：首先提出一个新的自动打标签的辅助任务（pretext task，例如：旋转图片、打乱patch顺序），用辅助任务自动生成标签。例如输入一张图片，把图片随机旋转一个角度，然后把旋转后的图片作为输入，随机旋转的角度作为标签。再例如，把输入的图片均匀分割成3*3的格子，每个格子里面的内容作为一个patch，随机打乱patch的排列顺序，然后用打乱顺序的patch作为输入，正确的排列顺序作为label。类似这种自动产生的标注，完全无需人工参与。
  自监督学习如何评价性能？自监督学习性能的高低，主要通过模型学出来的feature的质量来评价。feature质量的高低，主要是通过迁移学习的方式，把feature用到其它视觉任务中（分类、分割、物体检测…），然后通过视觉任务的结果的好坏来评价。