通过CLIP引导解码减轻大型视觉-语言模型中的幻觉问题

人工智能咨询培训老师叶梓 转载标明出处

大型视觉-语言模型（LVLMs）因其在视觉推理方面的能力而备受瞩目，被视为实现自主操作智能体的重要里程碑。但它在生成文本时容易出现对象幻觉问题，即描述中包含不存在的对象，这严重限制了它们的可靠性和实用性。

标题

为了解决这一问题，新加坡国立大学计算学院的Ailin Deng、Zhirui Chen和Bryan Hooi提出了一种新颖的方法——CLIP引导解码（CGD），旨在在不经过额外训练的情况下，通过CLIP模型在解码时引导模型，增强生成文本与图像的视觉基础，从而有效减轻对象幻觉问题。Figure 1 为方法的原理示意。在解码过程中，与图像具有更高CLIP相似度的候选句子不太可能是幻觉（hallucinated），因此会被选中。在这个示例中，幻觉文本被标记为红色，以便于识别和区分。图中包含几个候选句子，这些句子都是对同一张图像的描述。每个句子旁边可能都有一个CLIP分数，表示该句子与图像内容的匹配程度。分数较高的句子意味着与图像内容更为一致，更有可能是准确的描述。在这种情况下，解码过程会选择这些高分句子，而不是那些分数较低、可能与图像不相关或包含错误信息的句子。

CLIP引导解码

CLIP引导解码（CGD）算法是为了减少在生成过程中出现的幻觉问题。CGD算法利用CLIP模型作为视觉-语言指导，