NLP论文速读|Beyond Logit Lens：鲁棒幻觉的语境嵌入检测

论文速读|Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs

论文信息：

简介：

      本文讨论的背景是大型多模态模型（Large Multimodal Models, LMMs）的快速发展，这些模型通过结合大型语言模型（Large Language Models, LLMs）的语言能力和特定模态的编码器，显著推进了多模态理解。然而，这些模型存在“幻觉”问题，即产生过于自信的错误答案，这限制了它们的可靠性和应用。传统的检测和减轻幻觉的方法通常涉及昂贵的训练或依赖外部模型，而最近利用内部模型特征的方法显示出了希望。本文的动机在于提高LMMs的可靠性和可解释性，使其在实际部署中更加实用。对数镜头方法虽然在视觉-语言模型（VLMs）中识别和减轻对象幻觉方面有效，但在处理更复杂的视觉幻觉场景时ÿ