对比学习（Contrastive Learning）

什么是对比学习？

对比学习（Contrastive Learning）是一种自监督学习方法，通过让模型学习区分相似和不相似的样本，构建有意义的特征表示。它的核心思想是：

• 相似样本的特征应尽可能接近。
• 不相似样本的特征应尽可能远离。

对比学习广泛应用于表示学习，尤其是在没有标注数据的情况下训练深度神经网络。它通过构造正样本对（类似样本）和负样本对（不类似样本），让模型学习更具判别性的特征。

对比学习的输入与输出（简单说明）

• 输入：

  1. 原始样本（如图像、文本、时间序列等）。
  2. 对输入样本进行两次不同的数据增强，生成一对“正样本”（视图1和视图2）。

• 输出：

  1. 样本的特征向量表示（通过编码器生成）。
  2. 学习目标：让“正样本”的特征尽量接近，同时让与其他样本的特征远离。

---

举例

假设输入是一张图像：

1. 对这张图像随机裁剪、调整颜色，生成两个版本（视图1和视图2）。
2. 用编码器提取它们的特征表示 $z_1$ 和 $z_2$。
3. 输出目标：让 $z_1$ 和 $z_2$ 的特征相似，同时与其他样本的特征区分开。

示例代码简化说明

# 输入：两种增强视图
x1 = transform(image)  # 第一种增强视图
x2 = transform(image)  # 第二种增强视图

# 特征提取：编码器
z1 = model(x1)  # 输出第一个视图的特征向量
z2 = model(x2)  # 输出第二个视图的特征向量

# 输出：对比损失
loss = contrastive_loss(z1, z2)  # 学习目标

---

总结

• 输入：未标注数据（如图像、文本）及其增强后的不同视图。
• 输出：每个输入样本的特征向量表示，优化目标是学习语义相关的表示特征，使得相似样本的特征接近，不相似样本的特征远离。