在纯文本模态上,通过链式思考(Chain-of-Thought,CoT)的方法,大型语言模型已经取得了显著进展,但将这些进展转移到多模态环境却带来了新的挑战,包括需要大量人工标注数据、灵活性和泛化能力受限以及解释性不足等问题。论文提出了一种名为DDCoT(Duty-Distinct Chain-of-Thought)的创新提示方法,这种方法不仅维持了批判性的思考态度,还通过负空间提示和明确分工(让不同的模型各司其职)的方式,将视觉识别能力和语言模型的推理能力结合在一起,从而实现了多模态推理。DDCoT不仅提升了大、小语言模型的零样本和微调学习下的推理能力,而且生成的理由也展现了更高的通用性和可解释性。
1 多模态CoT的挑战
劳动密集型标注需求:多模态数据往往需要复杂的标注,包括理解图像、文本、音频等多个模态的信息,并且将它们综合起来形成有意义的标注,这是一项耗时且成本高昂的工作。
灵活性限制:现有的多模态CoT方法生成的推理理由在零样本提示和微调学习之间效果有限,通常不能同时优化这两种学习场景。
泛化能力有限:当前的多模态CoT推理方法在处理需要新颖且未见过的推理路径的问题时,泛化能力较差。
可解释性不足:多模态CoT的目的不仅是推断答案,还包括提供解释,但是目前生成的理由的可解释性仍需改进。
多步骤CoT推理的限制:现有的方法在处理需要多个步骤的推理时,往往受到限制,这影响了这些方法的实际应用。
2 DDCoT两步推理
DDCoT通过两步推理策略解决大型语言模型在多模态环境下的推理难题,尤其是处理视觉信息时的问题。传统LLM在单一语言模态下能运用CoT方法模拟人类思维,但面对多模态信息时,直接整合推理易产生混淆,如模型可能虚构视觉细节。DDCoT的解决方案是先将问题拆解为多个基础子问题,再逐一进行推理和分析,以此提升准确性。
**(1)问题分解:**首先,将给定的问题、上下文和选项输入到语言模型中。然后通过“请逐步思考并将问题分解为必要的子问题”,提示语言模型将输入问题分解成一系列基础的子问题,从而将复杂的推理链条拆解成简单的步骤。
**(2)识别与推理:**确定哪些子问题可以通过语言模型独立解决,哪些则需要视觉识别的帮助。对于需要视觉信息的子问题,利用视觉模型来理解和回答。在这个过程中需要下面的一些技术辅助:
- 批判性思考与不确定性的标记:在生成推理理由时,明确标记不确定的部分,这有助于保持批判性思考并减少推理中的假设和误差。如果在视觉识别阶段出现错误,语言模型会在后续的联合推理步骤中通过批判性思考纠正这些错误。
- 视觉与语言模型的融合:利用视觉模型对图像的理解能力,与语言模型的推理能力结合,生成综合的多模态推理理由。
- 生成满足要求的推理理由:所生成的理由需适应零样本学习和微调学习,它们应富含知识且具有高度的保真度,以减轻由于信息交织而导致的幻觉现象。
3 结论
论文提出了一种新的提示方法DDCoT,它通过深度层提示和理性压缩的视觉嵌入技术,在多模态推理任务中显著提高了语言模型的零样本学习性能,并展示了强大的推理能力和广泛的应用潜力。
论文题目:DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models
论文链接:https://arxiv.org/abs/2310.16436
PS: 欢迎大家扫码关注公众号_,我们一起在AI的世界中探索前行,期待共同进步!