[paper阅读笔记][AAAI2024]CoPL: Contextual Prompt Learning for Vision-Language Understanding

Paper的任务

提出一种新的方法，名为Contextual Prompt Learning (CoPL)，用于改进视觉-语言理解模型的泛化能力。

任务的科学问题

1. 现有方法依赖全局图像特征，可能无法捕捉到图像中的局部细节
2. 现有方法中，提示向量通常被赋予相同的权重，这忽略了不同提示对于不同图像可能具有不同的相关性。

（提示向量是用于增强模型对特定任务理解的向量表示，等权重问题指的是这些向量在模型中被不区分地同等对待。）

challenges

1. 局部特征的利用
2. 动态提示向量的生成：如何根据图像的局部上下文动态生成和加权提示向量，以提高模型对视觉-语言任务的适应性。
3. 上下文信息的融合：如何有效地将图像的上下文信息融合到提示学习过程中，以提升模型对图像内容的理解。

motivation

1. 提高泛化能力：现有视觉-语言模型在处理未见过的类别或跨数据集时泛化能力有限，研究者希望提升模型在这些情况下的性能。
2. 解决局部特征利用不足：现有模型可能过于依赖全局图像特征，而忽略了对局部特征的利用，特别是在细粒度识别任务中。
3. 动态提示向量的生成：为了使模型能够根据图像内容动态调整提示向量，以更好地捕捉图像的语义信息。

方法和框架

方法 

图像和文本输入：模型接收图像和文本输入，图像被分割成小块。

局部特征提取：使用视觉Transformer从图像块中提取局部特征。

条件标记生成：通过一个小型神经网络（meta-net）为每个图像块生成一个条件标记。

1. 1. • 

注意力权重计算：利用对齐函数计算每个提示向量与图像块特征之间的语义相关性，得到注意力权重。

1. 1. • 

      1. 

上下文表示计算：根据注意力权重，计算每个图像块的上下文表示。

1. 1. • 

动态提示向量更新：结合上下文表示和基础提示向量，生成动态提示向量。

1. 1. • 

预测概率计算：使用动态提示向量和图像特征计算预测概率。

1. 1. • 

训练和优化：通过最小化损失函数来训练模型参数，包括基础提示向量和meta-net的权重。

• 框架图

• • 

• 结果

• • 标准分类任务结果

    

  • 零样本（zero-shot）分类任务

    

  • 跨数据集泛化

• • 消融研究

实验是怎么做的？

• 设置了哪些实验？

1. 1. 标准分类任务：在多个标准的图像分类数据集上评估CoPL模型的性能，如ImageNet、Caltech101、OxfordPets等。
   2. Zero-shot Performance
   3. One-shot Training
   4. 跨数据集泛化(Domain Generalization)
   5. 消融研究

• 消去实验都消去了什么？

• • 局部图像特征：用全局图像特征替代局部特征，以比较局部特征和全局特征对模型性能的影响。

创新点在哪里？

1. 局部特征对齐：

• • CoPL利用图像的局部特征来学习提示向量，这与以往依赖全局特征的方法不同，有助于模型更好地捕捉图像的细节信息。

1. 动态提示向量：

• • 通过学习图像的局部上下文信息，CoPL能够动态地调整提示向量的权重，从而生成与当前图像内容更加相关的提示。

---

笔记

1. Caltech101是一个广泛使用的计算机视觉数据集，它由101个类别的图像组成，每个类别大约有40到800张图像不等。这些类别包括物体、动物、场景和其他各种图像。Caltech101旨在用于识别任务，特别是用于测试图像识别算法的性能。
2. FGVCAircraft是一个专门用于细粒度图像分类的数据集，它专注于飞机的识别和分类。该数据集由Maji等人于2013年创建，并被广泛用于计算机视觉领域的研究，尤其是在需要区分相似物体（如不同型号的飞机）的任务中。
3. EuroSAT是一个用于土地利用和土地覆盖分类的卫星图像数据集。它由Helber等人在2018年创建，专为遥感图像识别任务设计，包含了多种类型的卫星图像，每张图像都标注了对应的土地覆盖类别。
4. CoOp (Context Optimization):是一种视觉-语言模型，它通过训练一组连续的向量（称为上下文标记或prompts）来改善模型对图像和文本的理解。
5. CoCoOp (Conditional Context Optimization):是CoOp的扩展，它通过为每个图像实例生成条件化的提示来提高模型的性能。CoCoOp使用一个额外的神经网络（称为meta-net）来生成条件向量，该向量与CoOp中的提示向量结合，生成依赖于图像的动态提示。
6. ProGrad:是一种优化方法，它通过在训练过程中对提示（prompts）进行优化来提升模型性能。
7. CLIP (Contrastive Language-Image Pre-training):是一个大规模的视觉-语言预训练模型，它通过对比学习的方式同时学习图像和文本的表示。CLIP模型包含两个编码器，一个用于处理图像，另一个用于处理文本。通过训练，模型学会将语义上相关的图像和文本对拉近，而不相关的对推远，从而在联合空间中建立起图像和文本的联系。