RefCLIP 和 ReCLIP（for REC）

ACL 2022 ReCLIP

这篇论文介绍了ReCLIP，这是一个用于指代表达理解（Referring Expression Comprehension，简称ReC）任务的强零样本基线方法。ReCLIP的核心思想是利用CLIP（一种先进的大规模预训练模型），通过零样本学习（zero-shot learning）的方式，来解决ReC任务，而不需要针对特定视觉领域的额外训练数据。

ReCLIP方法包含两个主要组成部分：
1.区域评分方法（Region-Scoring Method）：
该方法通过裁剪和模糊处理图像，隔离出候选区域（object proposals），并将这些区域传递给CLIP模型进行评分。
通过这种方式，ReCLIP将ReC任务转化为与CLIP预训练任务相似的对比学习任务，即从多个候选区域中选择与给定文本描述最匹配的区域。
2.空间关系解析器（Spatial Relation Resolver）：
由于发现CLIP在零样本情况下处理空间关系的能力有限，ReCLIP引入了一个基于启发式规则的空间关系解析器。
该解析器将复杂的表达式分解为更简单的子查询，使用CLIP计算每个子查询的候选区域概率，并通过简单的规则结合这些输出来选择最终的候选区域。

ReCLIP的主要贡献包括：
提出了一种新的零样本ReC方法，该方法在不需要额外训练的情况下，能够有效地利用预训练的视觉-语言模型。
展示了CLIP在零样本空间推理方面的性能不足，并提出了相应的解决方案。
通过实验比较了ReCLIP的零样本ReC性能与最先进的全监督ReC系统在领域外的表现。
在实验中，ReCLIP在多个标准数据集上取得了显著的性能提升，包括RefCOCOg、RefCOCO和RefCOCO+，并且在RefGTA数据集上，ReCLIP的性能超过了领域外最先进的全监督ReC模型。这些结果表明，ReCLIP是一个有效的零样本ReC方法，能够在不同的视觉领域中实现良好的性能。

如何选择候选区域

1.使用预训练的对象检测模型，如MAttNet（用于RefCOCO数据集）或其他现代对象检测系统，来处理输入图像。
这些模型通常已经在大型数据集（如COCO数据集）上进行了训练，能够识别和定位多种常见对象。
2.对象检测模型对输入图像进行前向传播，输出一系列边界框，每个边界框都包含一个对象的预测类别和位置。
这些边界框构成了候选区域的集合，每个区域都是一个潜在的对象实例。
3.根据需要，可以对检测到的候选区域进行过滤，例如，只保留特定类别的候选区域，或者根据置信度分数筛选出最有可能的候选区域。
在某些情况下，还可以进一步处理这些候选区域，例如通过非极大值抑制（Non-Maximum Suppression，NMS）来去除重叠的检测结果。
4.经过过滤和选择的候选区域被用作ReCLIP方法的输入，用于评估每个区域与文本描述的匹配程度。
ReCLIP的区域评分方法（IPS）和空间关系解析器将这些候选区域与文本描述结合起来，以确定最终的匹配对象。

区域评分方法

（Isolated Proposal Scoring，简称IPS）是ReCLIP方法的第一部分，它的目标是为每个候选区域（object proposal）分配一个与文本描述相匹配的分数。具体实现步骤如下：

1. 候选区域的隔离：
   • 对于每个候选区域，ReCLIP通过裁剪和模糊处理来隔离出图像中的特定区域。裁剪是直接将候选区域从原始图像中裁剪出来，而模糊则是在裁剪的基础上对图像的其余部分应用高斯模糊滤镜，以减少干扰信息。
2. 文本解析：
   • 使用自然语言处理工具（如spaCy）对文本描述进行解析，提取名词短语（noun chunks）作为查询的组成部分。
3. CLIP模型评分：
   • 将每个隔离后的候选区域和对应的文本描述输入到CLIP模型中。CLIP模型会输出一个分数，表示图像和文本之间的相似度。
4. 分数集成：
   • 对于每个候选区域，ReCLIP会计算两种隔离方法（裁剪和模糊）的分数，并将它们结合起来，形成一个最终的分数。结合的方式可以是简单地将两个分数相加或者取最大值。
     通过这种方式，ReCLIP的区域评分方法能够有效地将ReC任务转化为CLIP模型熟悉的对比学习任务，从而利用预训练模型的强大能力来处理ReC任务。这种方法的优势在于，它不需要针对特定任务的额外训练数据，因此可以作为一种零样本学习方法，直接应用于新的或未见的视觉领域。

空间关系解析器

（Spatial Relation Resolver）是ReCLIP方法的第二个关键组成部分，它负责处理文本描述中涉及的对象间的空间关系。具体实现步骤如下：
1.语义树构建：
使用自然语言处理工具（如spaCy）对文本描述进行依赖性解析（dependency parsing），构建出一个语义树（semantic tree）。
在这个语义树中，每个名词短语（noun chunk）成为一个节点，而节点之间的依赖关系路径转化为实体间的关系。
2.空间关系的定义：
定义一组基本的空间关系，如“左边”、“右边”、“上方”、“下方”、“更大”、“更小”和“内部”。
对于这些基本的空间关系，使用启发式规则来确定对象间的关系是否成立。例如，对于“左边”，规则会检查一个对象的中心点是否位于另一个对象的中心点的左侧。
3.超空间关系的定义：
定义超空间关系（superlative relations），如“最左边的狗”。这些关系涉及对象间相对属性的比较，如位置或大小。
超空间关系被视为特殊的情况，其中空的第二个参数被复制的谓词（predicate）所替代，从而转换成一个标准的空间关系。
4.概率计算：
对于每个节点，计算它指代特定对象的概率。这是通过递归地结合节点的谓词概率和节点之间的空间关系概率来实现的。
通过这种方式，可以为语义树中的每个节点分配一个概率，表示该节点指代特定对象的可能性。
5.输出集成：
将空间关系解析器的输出与CLIP模型的区域评分结果结合起来，以选择最终的候选区域。
这通常涉及到将节点的概率与孤立提案评分（isolated proposal scoring）的输出进行元素级别的乘法集成。

尽管这些基本关系可能无法涵盖所有可能的空间配置，但它们为ReCLIP提供了一个合理的起点来处理常见的空间关系。对于更复杂的空间关系，可能需要更高级的模型和方法，例如使用更复杂的空间推理机制或者在特定任务上进行额外的训练来学习这些关系。
此外，ReCLIP的方法是可扩展的，研究人员可以根据需要添加更多的空间关系类型和相应的处理规则，以提高模型处理复杂空间关系的能力。

CVPR 2023 RefCLIP

RefCLIP方法被认为是弱监督的，因为它在训练过程中不需要使用精确的实例级标注（instance-level annotations），这些标注通常包括每个对象的精确边界框。
在RefCLIP中，弱监督学习是通过以下几个关键点实现的：
1.锚点-文本匹配问题：
RefCLIP将弱监督的Referring Expression Comprehension (REC)任务重新定义为锚点-文本匹配问题。这种方法避免了现有方法中复杂的后处理步骤，如区域兴趣网络（ROI）池化和非极大值抑制（NMS），这些步骤通常需要精确的边界框信息。
2.锚基对比学习：
为了实现弱监督学习，RefCLIP引入了基于锚点的对比学习（anchor-based contrastive learning）。这种方法通过大量的锚点-文本对来优化模型，而不是依赖于精确的边界框标注。对比学习在图像内和图像间进行，通过这种方式学习视觉-语言对齐（vision-language alignment）。
3.模型无关的弱监督训练方案：
RefCLIP进一步提出了第一个模型无关的弱监督训练方案，该方案允许现有的REC模型使用由RefCLIP生成的伪标签（pseudo-labels）进行训练，而无需对网络进行任何修改。这种训练方案通过数据增强和指数移动平均（EMA）来减轻伪标签噪声引起的确认偏差（confirmation bias），从而提高了模型的泛化能力。
4.不需要额外的标注：
在RefCLIP的训练过程中，不需要额外的标注数据。它利用现有的图像和文本对，通过锚点-文本匹配和对比学习来学习对象的定位，而不是依赖于人工标注的边界框。

RefCLIP不是为零样本学习（zero-shot learning）任务设计的。零样本学习通常指的是模型在没有见过任何特定类别的样本的情况下，就能够识别或处理这些类别的能力。这种学习方式强调的是模型对未知类别的泛化能力。
相反，RefCLIP专注于弱监督的指代表达理解（Referring Expression Comprehension, REC）任务，其目标是提高模型在训练时只有有限或不精确标注信息的情况下的性能。在RefCLIP中，模型是通过大量的图像和文本对进行训练的，这些图像和文本对可能包含有关目标对象的描述，但没有提供精确的边界框标注。RefCLIP通过锚点-文本匹配和对比学习来学习如何根据文本描述定位图像中的目标对象。
总结来说，RefCLIP是一种弱监督学习方法，它利用有限的标注信息来提高模型的性能，而不是零样本学习，后者要求模型在没有任何标注的情况下识别或理解新类别。