【AI论文】通过心理意象模拟实现视觉语言模型中的视角感知推理

摘要：我们提出了一种通过心理意象模拟实现视觉语言模型（VLMs）中视角感知推理的框架。换位思考，即从替代视角感知环境或情境的能力，是衡量人类水平视觉理解的关键基准，对于环境交互和与自主代理的合作至关重要。尽管VLMs在空间推理方面取得了进展，但最近的研究表明，现代VLMs在视角感知推理能力方面存在显著不足，并表现出强烈的以自我为中心的解读偏向。为了弥合VLMs与人类感知之间的差距，我们专注于心理意象的作用，即人类通过抽象表示来感知世界，从而促进视角转换。受此启发，我们提出了一种名为抽象视角转换（APC）的视角感知推理框架，该框架有效利用视觉基础模型（如对象检测、分割和方向估计）来构建场景抽象并实现视角转换。在合成图像和真实图像基准测试上的实验表明，与各种VLMs相比，我们的框架在视角感知推理方面取得了显著改进，进一步超越了微调的空间推理模型和基于新颖视角合成的方法。Huggingface链接：Paper page，论文链接：2504.17207

研究背景和目的

随着人工智能技术的飞速发展，视觉语言模型（Vision-Language Models, VLMs）在图像理解、文本生成以及跨模态任务中展现出了巨大的潜力。然而，尽管VLMs在空间推理方面取得了显著进展，但它们仍然面临着视角感知推理的挑战。视角感知推理，即从不同视角感知和理解环境或情境的能力，是衡量人类水平视觉理解的关键基准，对于环境交互、导航以及与自主代理的合作至关重要。

传统的VLMs在空间推理任务中往往表现出强烈的以自我为中心的解读偏向，即它们倾向于从图像拍摄者的视角（即相机视角）进行推理，而在处理需要从其他视角（如场景中某个对象的视角）进行推理的任务时则表现不佳。这种局限性限制了VLMs在需要高级视角感知能力的应用场景中的有效性，如自动驾驶、机器人导航和增强现实等。

为了克服这一局限性，本研究旨在提出一种新的框架，通过模拟人类的心理意象过程，使VLMs具备视角感知推理能力。心理意象是指人类在脑海中形成关于物理世界的抽象表示，这些表示有助于我们进行视角转换和复杂的空间推理。通过借鉴这一人类认知机制，我们希望能够构建出一种能够理解和处理从不同视角提出的问题的VLMs，从而推动VLMs在更广泛的实际应用中的落地。

研究方法

为了实现这一目标，我们提出了一种名为抽象视角转换（Abstract Perspective Change, APC）的框架。APC框架通过三个关键阶段来实现视角感知推理：场景抽象、视角转换和视角提示生成。

1. 场景抽象：在这一阶段，我们使用视觉基础模型（如对象检测、分割和方向估计）从输入图像中提取出感兴趣的对象，并构建这些对象的3D位置和方向信息。这些信息被组织成一个场景抽象，该抽象为后续的视角转换提供了基础。

2. 视角转换：在场景抽象的基础上，我们确定一个参考视角（即问题中需要从哪个对象的视角进行推理），然后将场景抽象转换到该参考视角的坐标系中。这一步骤实现了从以自我为中心的视角到任意视角的转换，使得VLMs能够从新的视角对场景进行理解。

3. 视角提示生成：最后，我们根据转换后的场景抽象生成一个视角提示，该提示以文本或图像的形式呈现给VLMs。视角提示包含了从参考视角观察到的场景信息，并引导VLMs根据这一信息进行推理。我们探索了两种视角提示的表示形式：数值（文本）提示和视觉提示。数值提示直接提供对象的3D坐标和方向信息，而视觉提示则通过渲染从参考视角观察到的场景图像来呈现信息。

通过这三个阶段，APC框架能够使VLMs具备从不同视角理解和推理场景的能力。为了验证APC框架的有效性，我们在合成图像和真实图像基准测试上进行了广泛的实验，并与多种VLMs进行了比较。

研究结果

实验结果表明，APC框架在视角感知推理任务中取得了显著优于其他方法的性能。在合成图像基准测试（如COMFORT++）上，APC框架在左/右关系、距离、可见性和面向方向等任务上均表现出色，准确率远超其他VLMs和微调的空间推理模型。在真实图像基准测试（如3DSRBench）上，尽管引入了额外的噪声和复杂性，APC框架仍然取得了稳健的性能，证明了其在复杂现实环境中的有效性。

特别地，我们发现视觉提示在可见性和面向方向任务上表现出比数值提示更好的性能。我们认为这是因为这些任务更依赖于视觉感知而非数值计算，而视觉提示能够更直观地呈现从参考视角观察到的场景信息。

此外，我们还通过在不同视角下评估空间推理准确性来探究VLMs的视角感知能力。结果表明，传统VLMs在视角偏离以自我为中心视角时性能显著下降，而APC框架则能够在所有视角下保持稳健的性能，进一步证明了其在视角感知推理方面的优势。

研究局限

尽管APC框架在视角感知推理方面取得了显著进展，但仍然存在一些局限性。首先，APC框架依赖于视觉基础模型来构建场景抽象和进行视角转换，这些模型的性能将直接影响APC框架的整体效果。如果视觉基础模型在对象检测、分割或方向估计方面出现错误，那么APC框架的性能也会受到影响。

其次，APC框架目前只能处理静态图像中的视角感知推理任务。对于动态场景或视频中的视角感知推理任务，APC框架可能需要进行扩展和修改。此外，APC框架在处理复杂场景或包含大量对象的情况时可能面临计算资源消耗大的问题。

最后，尽管APC框架在实验中取得了稳健的性能，但其在实际应用中的有效性和鲁棒性仍需进一步验证。特别是在处理真实世界中的复杂环境和噪声时，APC框架可能需要进行更多的优化和调整。

未来研究方向

针对上述局限性，我们提出了以下几个未来研究方向：

1. 改进视觉基础模型：开发更准确、更鲁棒的对象检测、分割和方向估计模型，以提高APC框架的性能和泛化能力。

2. 扩展至动态场景和视频：研究如何将APC框架扩展至动态场景和视频中的视角感知推理任务，以应对更复杂和多变的环境。

3. 优化计算效率：探索更高效的算法和数据结构来降低APC框架的计算复杂度，使其在处理复杂场景或包含大量对象的情况时仍能保持实时性能。

4. 增强实际应用中的鲁棒性：通过在实际环境中进行更广泛的测试和验证来增强APC框架的鲁棒性和可靠性，并针对特定应用场景进行优化和调整。

5. 结合其他认知机制：除了心理意象之外，还可以探索其他人类认知机制（如记忆、推理和决策等）在VLMs中的应用，以进一步提升VLMs的智能水平和应用能力。

综上所述，本研究通过提出APC框架为VLMs的视角感知推理能力提供了新的解决方案，并在实验中取得了显著成果。然而，要实现VLMs在更广泛实际应用中的落地，仍需克服诸多挑战并持续进行研究和创新。