VCTP论文精读

机器视觉推理自从引入神经符号机制以来取得了巨大进步，这使得机器能够发展出多步骤的推理链。然而，正如早期认知科学家所预示的那样，这种逻辑和符号系统基本上不适合于现实世界、常识知识的表示和推理，因为它们仅依赖于封闭世界的逻辑规则和硬约束。
在人工智能和知识表示领域，封闭世界假设（Closed World Assumption, CWA）是一种逻辑假设，它认为除了明确定义为真的事实外，其他所有事实都被假定为假。这与开放世界假设（Open World Assumption, OWA）相对立，后者认为如果某件事没有被明确证明为真或假，那么它的状态是未知的。
知识型视觉推理要求模型解释图像内容，回忆开放世界知识的相关内容，并执行逐步的逻辑推理以得出答案。
它要求在推理链中交互式地整合视觉上下文、外部知识和自然语言问题。如图1所示，要回答“这个房间叫什么名字？”这个问题，人类首先需要看到房间并提取诸如“框架”、“沙发”和“灯”等视觉概念。然后我们关注与问题语义相关的关键视觉概念，并思考“这是一张咖啡桌”和“有一个带有棕色靠垫的长沙发”以得出答案“客厅”。最后但同样重要的是，人类最终会通过回顾视觉上下文并得出结论“沙发和咖啡桌通常位于客厅”来确认答案是正确的。视觉到语言和语言到视觉的互动可以反复执行，直到我们得出一个令人满意的答案。

文章的研究背景
研究背景
• 视觉感知与语言推理的分离：以往的工作通常将视觉感知和基于语言的推理视为两个独立的模块，没有在整个推理过程中同时关注这两个模块。
• 缺乏逐步推理链：现有方法没有生成类似人类推理过程的逐步推理链，导致模型像一个“黑箱”，难以理解其决策过程。
• 计算成本高昂：一些方法通过对大型视觉-语言数据集进行微调（fine-tuning）来训练模型，这既计算密集又耗时。
• 透明度和可信度问题：由于推理过程不透明，难以验证预测答案的正确性，也难以提供支持每个推理步骤的理由。
• 与外部知识结合的挑战：知识型视觉推理要求模型不仅要理解图像内容，还要能够回忆开放世界知识，并执行逐步逻辑推理以得出答案，这增加了推理的复杂性。
• 性能问题：传统的视觉问答和推理方法在结合视觉上下文、外部知识和自然语言问题时面临性能上的挑战。

下面正式介绍这个框架。该框架用于基于知识的可视化推理，可以理解查询问题，关注图像中的关键视觉概念，检索支持证据，并最终以逐步的方式得出答案。VCTP由三个模块组成：see、think和confirm，以迭代方式运行这些模块。如图2所示。

• See 模块：该模块使用场景解析器（如 Faster-RCNN）检测图像中的所有候选对象（概念），并生成全局描述。主要目的是从图像中提取视觉概念并将其表示为类别标签。
• Think 模块：这个模块由三个步骤组成：Attend（关注）、Describe（描述）和 Predict（预测）。首先，使用提示方法帮助大语言模型（LLM）关注与问题语义相关的关键视觉概念。然后，使用图像描述生成器为这些概念生成区域描述。最后，基于这些视觉上下文和之前的推理结果预测问题的答案。
• Confirm 模块：该模块旨在生成与答案预测一致的支持理由，并验证预测的正确性。它通过要求LLM在预测答案后生成支持理由，并使用跨模态分类器验证这些理由是否与视觉输入一致。
• 迭代推理：VCTP框架通过多次迭代“Think-Confirm”步骤，确保最终生成的答案与视觉和语言信息之间的一致性。每次迭代会将验证通过的理由加入到提示上下文中，直到连续两次迭代的答案一致。
• 优势：
• 效果性：在知识基础的视觉推理数据集上的表现优于其他基准模型，尤其是对比少样本学习基线。
• 透明性和可解释性：VCTP能提供每个推理步骤的理由，使整个推理过程更具透明性。
• 计算效率：相比其他需要大量微调的模型，VCTP更具计算效率。
• 实验验证：在多个知识基础的视觉推理数据集上进行实验，验证了VCTP的性能优势和推理过程的透明度。