Nature machine intelligence: 多模态大模型中的视觉认知

程序猿李巡天

于 2025-01-21 14:12:24 发布

阅读量1.6k

点赞数 19

文章标签：人工智能深度学习机器学习知识图谱支持向量机

本文链接：https://blog.csdn.net/m0_59235945/article/details/145282656

版权

如何构建具有人类思维能力的机器一直是科学界的重要目标，尽管深度神经网络在许多领域取得了显著进展，但在因果推理、直觉物理和直觉心理学等领域依然存在明显的局限性。近年来大模型的兴起，尤其是那些设计用于视觉处理的模型，再次引发了人们对模拟人类认知能力的兴趣。1 月 15 日，发表于Nature 子刊Machine Intelligence的论文《Visual cognition in multimodal large language models》正是围绕这一主题展开，评估了当前多模态大语言模型在视觉认知领域的表现。

论文研究的核心问题是探讨多模态大语言模型在直觉物理、因果推理和直觉心理学等核心认知领域的表现。通过一系列控制实验，研究人员评估了这些模型在复杂物理交互、因果关系和对他人偏好的直觉理解方面的能力。研究发现，尽管一些现代模型在处理和解释视觉数据方面表现出显著的能力，但在这些领域中仍然无法完全达到人类的水平。这强调了需要整合更强大的机制来理解因果关系、物理动态和社会认知的重要性。

这篇论文由Luca M. Schulze Buschoff、Elif Akata、Matthias Bethge和Eric Schulz共同撰写，他们分别来自不同研究机构，Max Planck Institute for Biological Cybernetics（德国图宾根）研究所致力于生物网络的研究，特别是神经科学领域，关注大脑如何处理和传递信息；Institute for Human-Centered AI, Helmholtz Munich（德国Oberschleißheim）专注于以人为中心的人工智能研究，探索如何设计和开发对人类有益的AI系统；University of Tübingen（德国图宾根），图宾根大学是德国一所著名的研究型大学，拥有强大的AI研究团队，特别是在认知科学和计算神经科学领域。

主要内容

研究团队的核心目标是评估多模态大语言模型在三个重要的认知领域中的表现：直觉物理、因果推理和直觉心理学。这些领域对于理解和模拟人类的认知过程至关重要。因此研究团队设计了一系列实验，以探讨这些模型在处理复杂物理交互、因果关系以及直觉理解他人偏好和行为方面的能力。研究目标是了解当前模型的能力和局限性，并为未来改进模型提供基础。

图1 ：领域、任务、方法和模型概述。a、不同实验的示例图像。每个实验都来自三个认知领域之一：直觉物理学、因果推理和直觉心理学。b、一般方法。对于每个查询，都会向模型提交一张图像，并对图像提出不同的问题，即我们进行了视觉问答。c，使用多模态LLM及其大小。

方法与模型

在方法与模型的选择上，研究团队使用了多种多模态大语言模型，既包括开源模型，也包括封闭源模型。研究选用了以下模型：

Fuyu：一个拥有8亿参数的多模态文本和图像解码器。它使用了Huggingface的实现，并在没有进一步微调的情况下进行评估。

Otter：支持上下文指令调整的多模态大语言模型，基于OpenFlamingo模型，同样使用了Huggingface的实现。

LLaMA-Adapter V2：在LLaMA变换器中添加了适配器，使其成为一个指令跟随模型。

GPT-4V：使用了OpenAI的API接口，特别是gpt4-vision-preview模型进行测试。

Claude-3：通过Anthropic API进行查询和评估。

这些模型代表了当前多模态大语言模型的不同实现和能力，为研究提供了多样的测试对象。

数据集的选择与实验设计

为了全面评估多模态大语言模型的认知能力，研究团队选择了多种数据集，并设计了具体的实验任务：

直觉物理学实验

使用了包含516张积木塔图像的数据集，这些图像展示了不同颜色的木块塔，测试模型对图像背景颜色、积木数量以及积木塔稳定性的判断能力。

因果推理实验

Jenga实验：使用了42张展示红色和灰色积木的图像，测试模型在去除特定积木后倒塌积木数量的预测能力。

Michotte实验：使用了18张展示2D视图的图像，测试模型对球运动轨迹及其与门的关系的判断。

直觉心理学实验

宇航员任务：使用了三个不同实验的图像，这些图像展示了不同地形和护理包裹的2D图像，测试模型对不同地形成本和奖励的理解。

帮助或阻碍任务：使用了24张展示两个代理人在网格世界中的2D图像，测试模型对帮助或阻碍行为的判断。

这些数据集和实验设计旨在评估模型在复杂认知任务中的表现，为理解多模态大语言模型的能力和改进方向提供了重要数据支持。研究结果揭示了当前模型在某些任务中表现出色，但在其他任务中仍有显著改进空间。

研究结果

直觉物理学实验结果

研究团队首先评估了多模态大语言模型在直觉物理学任务中的表现。为了实现这一目标，研究人员使用了一组积木塔图像，测试模型对图像背景颜色、积木数量以及积木塔稳定性的判断能力。

图2：给定真实街区塔楼的图像，五种视觉LLM对复杂性增加的任务的结果。a–c，我们首先要求图像（a）中的背景颜色（图像取自参考文献98），然后要求从上到下的砌块颜色（b），最后要求砌块塔的二元稳定性评级（c）。d、最后一个图显示了R2的平方根模型和人类参与者之间的贝叶斯逻辑混合效应回归的值。图a-c中的条形图显示了正确答案的百分比，误差条形图由二项分布的标准偏差（n = 100). 图d中的柱状图显示了贝叶斯逻辑混合效应回归的R2值的平方根，误差柱状图由该R2的95%百分位数的平方根给出值（n=10700，图像数量乘以人类参与者数量）。

在积木塔实验中，模型被要求确定图像中的背景颜色以及积木的数量。在这些相对简单的任务中，大多数模型表现良好，能够准确识别背景颜色。然而，当任务复杂到需要评估积木塔的稳定性时，模型的表现差异开始显现。特别是，GPT-4V和Claude-3在这些复杂任务中表现出色，略高于随机水平。然而，尽管这些模型展示了一定的物理推理能力，但仍然无法完全匹配人类在类似任务中的表现。这表明，当前的多模态大语言模型在处理复杂物理交互时仍然存在局限性。

因果推理实验结果

在因果推理实验中，研究团队设计了两个任务来评估模型的因果推理能力：Jenga实验和Michotte实验。

Jenga实验

在Jenga实验中，模型被要求预测移除特定积木后会倒塌的积木数量，并评估移除积木对塔稳定性的影响。在基础任务中，如计算图像中的积木数量，大多数模型表现良好。然而，当任务复杂到需要预测移除积木后的影响时，模型的表现开始分化。GPT-4V和Fuyu-8B在这些任务中表现出色，超过了随机基线，接近人类的结果。然而，仍然没有一个模型能够完全匹配人类的表现。这表明，尽管现代模型在处理因果推理任务时表现出色，但仍需进一步改进以达到人类水平。

图3：Jenga因果推理实验结果。a–d，我们首先询问图像中的块数（a），然后我们询问如果删除特定块会下降的块数，并计算到地面真相的绝对距离（b）以及到人类判断的绝对距离，最后给出一个0到100之间的评分，以衡量特定块对塔的稳定性有多重要（d）。因果推理实验取自参考文献100。对于责任评级，除GPT-4V外，所有LLM都给出了恒定的评级：Fuyu和Claude-3总是以100作为响应，而Otter和LLaMAA适配器V2总是以50作为响应。图a和b中的柱状图显示了与地面真值的绝对距离，误差柱状图由平均值的标准误差（n = 42).图c中的柱状图显示了与人类答案的距离，误差柱状图再次由平均值的标准误差给出（n=41）。图d中的柱状图表示R2的平方根贝叶斯逻辑混合效应回归的值，误差条由该R2的95%百分位数的平方根给出值（n=1470）。

Michotte实验

在Michotte实验中，研究团队使用了一组2D图像，这些图像展示了球体的运动轨迹，测试模型对运动和因果关系的理解。任务包括识别背景颜色、判断球体的运动方向以及评估球体是否通过指定的门。在这些任务中，大多数模型在基础任务中表现良好，但在复杂任务中表现不佳。例如，Fuyu在背景颜色识别任务中总是回答错误，而GPT-4V和Claude-3在因果推理任务中表现较好，但仍未达到人类水平。这表明，多模态大语言模型在视觉因果推理任务中的表现仍需进一步提升。

图4|Michotte因果推理实验结果。a–d，我们首先要求图像中的背景颜色（a），然后要求球运动的方向（b），在0到100之间判断球“b”是否通过门（c），最后在0到100%之间判断球是否“b”如果场景（d）中没有球“A”，球就会穿过大门。因果推理实验取自参考文献52。图a和b中的条形图显示了正确答案的百分比，误差条形图由二项分布的标准偏差（n = 18). 图c和d中的柱状图显示了贝叶斯逻辑混合效应回归的R2值的平方根，误差柱状图由该R2的95%百分位数的平方根给出值（分别为n=252和234）。

直觉心理学实验结果

在直觉心理学实验中，研究团队设计了两个任务来评估模型的直觉心理学能力：宇航员任务和帮助或阻碍任务。

宇航员任务

在宇航员任务中，模型被要求分析一组2D图像，这些图像展示了宇航员在不同地形中移动和选择护理包裹的场景。任务包括确定图像的背景颜色、计算护理包裹的数量、评估地形的成本以及护理包裹的奖励。在这些任务中，除GPT-4V外，大多数模型在简单任务中表现不佳，如背景颜色识别和护理包裹计数。在复杂任务中，如地形成本和奖励评估，所有模型的表现与人类相比都较为薄弱。尽管有些模型如Claude-3在奖励评估任务中表现较好，但仍无法完全模拟人类的直觉心理学能力。

图5 ：直观心理学宇航员任务结果。a、 b，同样，我们首先要求背景颜色（a）和场景中的框的数量（b）。c、 d，然后要求模型根据代理所采取的路径对环境中的成本（c）和回报（d）进行推断。直觉心理学的任务取自参考文献103。Fuyu和LLaMA适配器V2的回归系数缺失，因为它们总是对成本或奖励问题给出恒定的评分。图a和b中的柱状图显示了正确答案的百分比，误差柱状图由二项式分布的标准偏差给出（n=16）。图c和d中的柱状图表示R2的平方根贝叶斯逻辑混合效应回归的值，误差条由该R2的95%百分位数的平方根给出值（分别为n=81和70）。

帮助或阻碍任务

在帮助或阻碍任务中，模型被要求分析一组显示两个代理人在网格世界中的2D图像，评估蓝色代理人是帮助还是阻碍红色代理人。这些任务包括确定图像背景颜色、计算箱子的数量、评估蓝色代理人的意图以及预测红色代理人的成功率。在这些任务中，大多数模型在基础任务中表现良好，但在复杂任务中的表现较差。例如，Otter在评估蓝色代理人意图的任务中表现最佳，但仍未达到人类水平。在反事实预测任务中，大多数模型的表现与人类判断之间存在显著差异，尤其是Otter显示出与人类判断的负相关关系。这表明当前的多模态大语言模型在直觉心理学任务中的表现仍需改进，特别是在处理复杂的社会互动和反事实推理任务时。

综上所述，研究结果显示，当前的多模态大语言模型在直觉物理、因果推理和直觉心理学等领域表现出一定的能力，但与人类水平相比仍有明显差距。这强调了进一步改进模型的基础视觉处理能力、任务设计和提示词优化的重要性，为未来的研究提供了明确的方向。

讨论

研究团队通过一系列精心设计的实验，评估了多模态大语言模型（LLMs）在直觉物理、因果推理和直觉心理学三个认知领域的表现。研究结果显示，尽管这些模型在某些简单任务中表现良好，但在更复杂的认知任务中仍存在明显的不足。特别是在直觉物理和因果推理任务中，模型在处理简单的视觉识别任务时表现出色，但在需要高层次推理能力的任务中，与人类表现之间存在显著差距。

多模态大语言模型在各领域中的表现与人类对比

在直觉物理学领域，尽管模型能够准确判断图像的背景颜色和积木的数量，但在预测积木塔的稳定性时，模型的表现远不如人类。尤其是在处理涉及物理动态和相互作用的任务时，模型的判断往往与实际情况存在偏差。这表明，当前的多模态大语言模型在理解和模拟复杂物理现象方面仍有很大的改进空间。

因果推理实验进一步揭示了模型的局限性。尽管GPT-4V和Fuyu-8B在某些任务中表现接近人类，但总体上，模型在预测移除积木后的倒塌情况和评估因果关系时，仍未能达到人类的水平。这一结果表明，当前的模型在处理因果推理任务时，依然无法完全理解和模拟因果关系的复杂性。

图6 ：直觉心理学帮助或阻碍任务的结果。a–d，我们首先询问图像中的背景颜色（a），然后询问场景中的框的数量（b），判断场景中的一个代理是否试图阻碍另一个代理（c），最后在0到100之间进行反事实判断，判断如果另一个代理不在场，场景中的代理是否会成功达到目标（d）。直觉心理学数据集来自参考文献104。图a和b中的条形图显示了正确答案的百分比，误差条形图由二项分布的标准偏差（n = 24).图c和d中的条形图显示了R2的平方根误差棒由95%的平方根给出的贝叶斯逻辑混合效应回归的值此R2的百分位数值（n=1200）。

在直觉心理学实验中，模型在识别图像背景颜色和计数物体数量等简单任务中表现尚可，但在评估地形成本和奖励、理解社会互动和反事实推理等复杂任务中，模型的表现与人类相比有显著差距。例如，在帮助或阻碍任务中，大多数模型在判断蓝色代理人行为的意图和预测红色代理人成功率时，都未能表现出与人类相似的推理能力。这反映了当前模型在理解和模拟复杂社会互动和心理状态方面的不足。

模型在视觉认知任务中的局限性

通过上述实验，可以明确看到，多模态大语言模型在处理视觉认知任务时存在一些局限性。首先，模型在基础视觉处理能力上表现较弱，这导致其在处理涉及复杂物理动态和因果关系的任务时表现不佳。其次，模型对高层次推理任务的理解和处理能力有限，特别是在需要模拟人类心理和社会互动的任务中，模型往往表现出明显的不足。

这些局限性反映了当前多模态大语言模型在认知科学领域中的挑战，同时也为未来的研究提供了重要的指引。通过进一步改进模型的基础视觉处理能力、任务设计和提示词优化，可以期望多模态大语言模型在模拟人类认知能力方面取得更大的突破。

为了提升多模态大语言模型在视觉认知任务中的表现，研究团队提出了一些未来研究方向和改进建议。

当前模型在处理基础视觉任务时，表现出一定的局限性。通过改进模型的视觉处理算法，增加对图像细节的理解和处理能力，可以提升模型在复杂任务中的表现。例如，结合更高级的计算机视觉技术，如图像分割、物体检测和场景理解，可以帮助模型更准确地理解图像内容，从而在复杂物理和因果推理任务中表现更好。

实验结果表明，使用简单的图像刺激材料限制了模型的表现。未来研究可以考虑使用更复杂和真实的图像和视频刺激材料，以更好地评估模型在处理复杂视觉信息和高层次推理任务中的能力。例如，使用现实世界中的视频数据，可以更全面地测试模型在处理动态场景和复杂物理交互方面的表现。

提示词对模型的表现有显著影响。通过优化提示词的设计，可以提高模型在特定任务中的表现。研究团队建议，未来研究可以尝试使用不同版本的提示词，并评估模型对这些提示词的响应情况。此外，任务设计的复杂性和多样性也是影响模型表现的重要因素。通过设计更具挑战性和多样化的任务，可以更全面地评估和提升模型的认知能力。

方法

研究的实验设计细致严谨，目的是全面评估多模态大语言模型（LLMs）的认知能力。为了保证结果的可靠性和可重复性，研究团队在实验细节和代码实现方面做了大量工作。所有开源模型按其GitHub或Huggingface仓库中的说明进行安装，并在基于Slurm的集群上进行评估，使用的硬件资源为单个A100显卡。

研究中使用的GPT-4V模型通过OpenAI的公共ChatGPT接口进行评估，特别是使用2023年11月发布的gpt4-vision-preview模型，该模型通过API的completions端点进行调用。Claude-3模型则使用Anthropic API进行评估。为了确保结果的可重复性，所有实验代码都公开在GitHub上，研究者可以访问并复现本文的实验结果。

评估过程中，所有模型均使用Python编程语言，并结合PyTorch框架进行实现。为了进一步分析实验数据，研究团队还使用了NumPy、Pandas和SciPy等工具进行数据处理与分析。绘图工具则采用了Matplotlib和Seaborn。对于贝叶斯混合效应模型的计算，研究团队使用了R语言中的brms包。

开源代码与评估环境

所有开源模型的代码均按照相关GitHub或Huggingface仓库中的说明进行安装和配置。研究团队使用了基于Slurm的集群环境，并在单个A100显卡上进行模型评估。这种高性能计算环境确保了大规模数据处理和复杂模型计算的高效性和准确性。

对于GPT-4V模型，研究团队首先通过ChatGPT界面进行查询，随后使用OpenAI API接口进行实验。为了获取精确的数值响应，研究团队将最大生成tokens数量设置为1。对于Claude-3模型，研究团队通过Anthropic API接口进行调用，并设置温度参数为零以确保结果的稳定性和一致性。

所有用于复现实验结果的代码和指令均公开在GitHub上，研究者可以访问并根据说明进行安装和评估。这种开放透明的研究方法不仅有助于学术交流，也促进了科学研究的透明性和可重复性。

模型与数据集的具体描述

本研究使用了多种多模态大语言模型，包括开源模型和封闭源模型。

开源模型

Fuyu：一个拥有8亿参数的多模态文本和图像解码器。研究团队使用了Huggingface的实现，采用标准设置并未进行进一步微调。最大生成tokens数量设置为8，响应结果由研究团队手动解析。

Otter：基于OpenFlamingo模型的多模态大语言模型，支持上下文指令调整。研究团队使用了Huggingface的实现，采用标准设置并未进行进一步微调。最大生成tokens数量设置为512，响应结果由研究团队手动解析。

LLaMA-Adapter V2：通过添加适配器将LLaMA变换器转变为指令跟随模型。研究团队使用了GitHub中的实现，采用标准设置并未进行进一步微调。最大生成tokens数量设置为512，响应结果由研究团队手动解析。

封闭源模型

GPT-4V：通过OpenAI的公共ChatGPT接口和API接口进行查询和评估，使用的是2023年11月发布的gpt4-vision-preview模型。最大生成tokens数量设置为1以获取单一数值响应，其他参数设置为默认值。

Claude-3：通过Anthropic API接口进行查询和评估，使用的是claude-3-opus-20240229版本，温度设置为零，最大新tokens数量根据任务不同设置在3到6之间。

对于实验中使用的数据集，研究团队选择了多种开放数据集，这些数据集涵盖了直觉物理、因果推理和直觉心理学等领域的任务：

直觉物理学实验数据集使用的是包含516张积木塔图像的数据集，这些图像展示了不同颜色的木块塔，背景为白色布料。研究团队随机抽取了100张图像进行实验，评估模型对图像背景颜色、积木数量以及积木塔稳定性的判断能力。

因果推理实验数据集

Jenga实验数据集：使用了42张展示红色和灰色积木的图像，这些图像展示了在黑色桌面上的积木堆叠。研究团队评估了模型对积木数量的理解及其在移除灰色积木后倒塌积木数量的预测能力。

Michotte实验数据集：使用了18张展示2D视图的图像，这些图像展示了球体的运动轨迹，用于测试模型对因果关系的理解。任务包括判断球体的运动方向和评估球体是否通过指定的门。

直觉心理学实验数据集

宇航员任务数据集：使用了来自三个不同实验的图像，这些图像展示了不同地形和护理包裹的2D图像。研究团队评估了模型对不同地形成本和奖励的理解，以及模型对图像背景颜色和护理包裹数量的判断能力。

帮助或阻碍任务数据集：使用了24张展示两个代理人在网格世界中的2D图像，评估模型对帮助或阻碍行为的判断以及模型对反事实推理的能力。

实验数据的获取与处理

所有实验数据均来自公开的开放数据集，这些数据集在相关研究领域中得到了广泛的使用和验证。研究团队通过GitHub等平台获取了这些数据集，并对数据进行了预处理，以确保数据质量和实验结果的可靠性。

在数据预处理中，研究团队对每个数据集进行了仔细的筛选和过滤，确保所选图像和任务能够全面反映模型的认知能力。对于每个任务，研究团队设置了具体的评估标准和指标，以便对模型的表现进行量化分析。例如，在积木塔实验中，研究团队通过计算模型对积木塔稳定性判断的准确率来评估模型的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述