RINCE ------- 对比损失（InfoNCE）升级版

一. 概述

1. RINCE出处

来源于文章：Robust Contrastive Learning against Noisy Views

2201.04309.pdf (arxiv.org)https://arxiv.org/pdf/2201.04309.pdf

2. 摘要

        对比学习依赖于一个假设，即正对包含相关视图，例如，图像的补丁或视频的多模态信号，它们共享有关实例的某些基础信息。但是，如果这个假设被违反呢？文献表明，对比学习在存在嘈杂视图的情况下会产生次优表征，例如，没有明显共享信息的假阳性对。在这项工作中，我们提出了一种新的对比损失函数，该函数对嘈杂的视图具有鲁棒性。我们通过显示与噪声二元分类的鲁棒对称损失的联系，以及通过基于Wasserstein距离测量的互信息最大化建立新的对比界，提供了严格的理论论证。拟议的损失完全与模态无关，并且是 InfoNCE 损失的简单替代品，这使得它很容易应用于现有的对比框架。我们表明，我们的方法在图像、视频和图形对比学习基准方面提供了持续的改进，这些基准测试表现出各种真实世界的噪声模式。

二. 损失函数

1. 基础损失函数InfoNCE

        参数s为正负样本的相似度（分数），当正样本之间相似度大，负样本之间相似度小时，损失函数趋于0，反之损失函数较大。

        参数t会影响模型输出的概率分布，当t值变大时，原来logits分布里的数值都变小，导致logits分布变得更加平滑，t的大小决定了模型对困难样本的关注程度，越小的温度系数越关注于将本样本行业最相似的样本分开。

        （因为logits分布变得平滑导致负样本的相似度变大，损失的惩罚变大）

 2. 升级版对比损失函数RINCE

        参数s和InfoNCE相同，都是通过计算正负样本特征向量之间的余弦相似度并除以温度参数t所获得。 

        参数q和都在（0,1]。当q=1时RINCE完全满足对称性，此时该损失对噪声具有鲁棒性。正样本对的分数被放大，更加重视分数高（相似度高）的正样本对。换句话说，模型会更倾向于将分数高（相似度高）的正样本对分类正确，而不是倾向于将假阳性（并不相似的正样本）样本对分类正确。这样可以减少对无关样本的误判。这也时该模型的主要目的之一。

        当参数q趋近于0时，RINCE 渐近等同于 InfoNCE，更加重视分数低（相似度低）的正样本对。