语言模型中的多模态链式推理（论文复现）

语言模型中的多模态链式推理（论文复现）

本文所涉及所有资源均在传知代码平台可获取

简介

本文主要对2023一篇论文《Multimodal Chain-of-Thought Reasoning in Language Models》主要内容进行介绍。

摘要

大型语言模型（LLM）通过利用思想链（CoT）提示生成中间推理链作为推断答案的基本原理，在复杂推理方面表现出了令人印象深刻的性能。然而，现有的CoT研究主要集中在语言模态上。这篇文章提出了多模态CoT，将语言（文本）和视觉（图像）模式结合到一个分为两个阶段的框架中，该框架将基本原理生成和答案推理分开。通过这种方式，答案推理可以利用基于多模式信息的更好生成的理由。使用多模CoT，模型在10亿个参数下的性能比以前最先进的LLM（GPT-3.5）高