论文阅读：CVPR2022 Rethinking Minimal Sufficient Representation in Contrastive Learning

Abstract：

对比学习近似地获得了包含共享信息的最小充分表示，并消除了视图之间的非共享信息。考虑到下游任务的多样性，不能保证所有与任务相关的信息在视图之间共享。因此，我们假设不能忽略非共享任务相关信息，并从理论上证明对比学习中的最小充分表示不足以满足下游任务，从而导致性能下降。这揭示了一个新问题，即对比学习模型存在过度拟合视图之间共享信息的风险。为了缓解这个问题，我们建议增加表示和输入之间的互信息作为正则化，以近似引入更多与任务相关的信息，因为我们在训练期间不能利用任何下游任务信息。

Introduction:

1) 第一个从理论上揭示对比学习存在过度拟合视图之间共享信息的风险的工作。基于视图相互提供监督信息的对比学习内部机制进行综合分析。
2) 为了缓解这个问题，当下游任务信息不可用时，我们建议增加表示和输入之间的互信息，以近似引入更多与任务相关的信息。
3) 验证了SimCLR [7]、BYOL [19] 和Barlow Twins [52] 的四种方法在分类、检测和分割任务中的有效性。我们还提供了广泛的分析实验，以进一步了解我们的假设、理论分析和模型。

Method:

1）公式理论证明

晕了

2）非共享的任务相关信息

缺少一些非共享的任务相关信息，最小充分表示对于下游任务是不够的。此外，对比学习近似地学习了最小的充分表示，因此存在过度拟合视图之间共享信息的风险。为此，我们建议从 v1 中提取更多非共享的任务相关信息，即增加 I (z1 , T |v2 )。但是，我们在训练期间无法利用任何下游任务信息，因此不可能直接增加 I (z1 , T |v2 )。我们考虑增加 I (z1 , v1 ) 作为替代方案，因为 z1 中 v1 增加的信息可能与一些下游任务相关，这种动机如图 1 所示。此外，增加 I(z1,v1)还有助于在优化过程开始时提取视图之间的共享信息。考虑到 v1 和 v2 之间的对称性

对比学习中的学习表示对于下游任务来说是不够的。 因此，我们需要使表示中的信息更充分而不是压缩它。 另一方面，我们也不能从输入 v 中引入太多信息，这可能包含有害噪声。所以在loss处加超参数控制。