自监督学 对比式学习

def. 自监督学习属于无监督学习范式的一种，特点是 不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习数据的特征表达，并用于下游任务

不需要人工标注类别标签信息：不用人为对类别进行标注，比如对猫片标注猫，这种打标签的行为

利用数据本身作为监督信息： 数据本身就是网络所要分析学习的对象，但是要从已有数据中学习到什么是好什么是坏

特征表达：也就是上一个词条所需要学习到的

下游任务：图像识别、图像分割、图像分类…就是我们训练的网络已经完全掌握了他需要学习的图像特征了，可以像人一样对图像进行一系列操作。

Self-Supervised Learning （SSL）分为 C & G 两类
C： Contrastive Learning（CL 对比学习）
G: Generative methods（生成式方法，以自编码器为代表）

对比学习

对比式方法通过将数据分别与 正例样本 和 负例样本 在特征空间进行对比，来学习样本的特征表示。

对比学习一般范式：
对任意数据 X （锚点，anchor），对比学习的目标是学习一个编码器 f 使得

score 是一个度量函数来测量样本间的相似度，X+ 是和 X 相似的正样本，X- 和 X 是不相似的负样本,score是一个度量函数来衡量样本间的相似度。
若使用向量内积来计算两个样本的相似度，则对比学习的 损失函数 可以表示成（softmax）：

其中对应样本 X 有1 个正样本和 N-1 个负样本。可以发现，这个形式类似于交叉熵损失函数（infoNCE），学习的目标就是 让 x 的特征和正样本的特征更相似，同时和 N-1 个负样本的特征更不相似。softmax分类器来正确地分类正样本和负样本。这将鼓励分数函数给正的例子赋大值，给负的例子赋小值。