多模态论文学习8.28

系列文章目录

---

---

LAMM: Label Alignment for Multi-Modal Prompt Learning学习

1、论文理解

1. VL模型和下游任务之间的类标签表示的差距啥意思？
   在视觉语言（VL）模型和下游任务之间的“类标签表示的差距”指的是预训练的视觉语言模型（如CLIP）和下游任务（如具体的图像分类任务）在类别标签的表示方式上存在不同。这些差异可能会影响模型在迁移到下游任务时的性能。
   具体来说，预训练的VL模型通常使用特定的方式来表示类标签，例如通过文本描述或特定的词嵌入（word embeddings）。而在下游任务中，类别标签的表示方式可能与VL模型中使用的表示方式不同，可能导致模型无法很好地理解或利用这些标签进行分类或识别。这种表示方式的差距就会影响到模型在下游任务中的表现。
   为了解决这一问题，LAMM 方法提出了通过端到端训练动态调整类别嵌入（即类标签的表示）的方式，使得这些类别标签的表示方式能够更好地适应下游任务的需求，从而弥合预训练VL模型与下游任务之间的差距。这种调整可以帮助模型更好地理解和处理下游任务中的类别标签，提高任务的性能。
2. “构建模板的过程通过梯度下降而不是手动构建进一步自动化”的意思是
   提示学习（prompt learning）方法中的模板设计不再依赖人工来手动创建，而是通过训练过程中的梯度下降算法自动优化和生成。传统上，提示模板可能需要人工设计，例如在自然语言处理中，为了让模型理解某个任务，可能需要人类专家设计特定的句子结构或关键词来引导模型。这个过程既费时又依赖于人的经验。
   然而，随着提示学习的进展，现在可以通过训练一个具有少量特定任务参数的模板，并使用梯度下降算法来自动调整这些参数，从而生成适合特定任务的提示模板。这种自动化的过程意味着模型能够自主学习如何最好地生成适合下游任务的提示，而不需要人工介入。这种方法大大提高了效率，并且通常可以比手动设计的模板表现得更好。简单来说，这句话的意思是，通过使用梯度下降优化算法，提示模板的生成和优化过程得到了自动化，从而减少了手动设计的需求。
   在这里为了对这句话为了加深理解，下载了文章的引用论文，进行阅读。

1、研究背景

2、论文贡献

3、方法框架

4、研究思路

5、实验

6、限制