©作者 | 刘业鑫
单位 | 智源研究院、港科广
研究方向 | 计算机视觉
多模态大语言模型(MLLMs)因其在视觉理解和推理方面的突出表现,例如生成详细的图像描述和回答复杂的问题等,逐渐成为近期 AI 研究的热点。
然而,Bunny 团队的最新研究发现,尽管许多 MLLMs 对视觉内容能够正确理解,但在面对误导性的问题时却容易给出错误答案,如图 1 所示。团队基于此揭示了一个隐藏现象:MLLMs 在视觉问答上的错误回答,不总是因为性能不足,还可能是由于对误导性问题缺乏鲁棒性。
▲ 图1. 左图展示模型能够正确理解视觉内容,但对于误导性问题回答错误。右图展示现有的 MLLMs 在回答正向的问题和负向的误导性问题还存在一定的鸿沟。
为全面衡量 MLLMs 的理解能力及其在正确理解视觉内容后面对误导性问题时的表现,研究团队提出了多模态鲁棒性基准(MMR-benchmark)和针对鲁棒性的评价指标。同时为了提升 MLLMs 针对误导性问题的鲁棒性,研究团队精心设计了一个包含成对正向和负向视觉问答样本的训练集(MMR-data)。实验结果表明,通过使用 MMR-data,MLLMs 在应对负面问题时的鲁棒性得到显著提升。
MMR benchmark构建及评测指标
MMR benchmark 构建
为了实现全面的定量评估和分析,MMR-benchmark 通过人工精心标注构建了 300 个正向问题和配对的 300 个带有误导性的负向问题,每个问题包含 4 个选项,且只有 1 个正确答案。正向问题用来评估模型正确理解视觉内容的能力,而负向问题则评估模型在面对误导性问题时的鲁棒性。如图 2 所示,MMR-benchmark 涵盖了字符、属性和语境 3 个不同粒度层级,包含了总共 12 个类别。
▲ 图2 MMR benchmark 示例
字符级问题提示识别字符或数字等元素,而属性级问题则侧重于颜色、质地和数量等属性。语境层面的问题则涉及情感、文化和常识等更高层次的概念。例如,字符级的误导性问题会改变字符或数字等元素,属性级的问题会混淆属性,而情境级的提示则会引入复杂的概念,从而彻底测试模型对误导性信息的抵御能力。
评测指标
我们全面地考虑了 4 种结果类型:
1)理解且鲁棒(UR),即正向问题和负向问题都答对
2)理解但脆弱(UF),即答对了正向问题但答错负向问题
3)不理解但严谨(NR),即答错了正向问题但答对负向问题
4)不理解且脆弱(NF),即正向问题和负向问题都答错
为量化 MLLMs 对负面问题的鲁棒性和实际理解能力,我们引入了“误导率(MR)”和“鲁棒性准确率(RA)”,误导率(MR)能够反映出模型面对误导性问题时的鲁棒性,鲁棒性准确率(RA)能够反映出模型在严格条件下答对问题的准确率。二者公式如下:
其中, 表示 4 种结果的样本数量。
通过结合评估指标 MR 和 RA,我们的 MMR 基准不但可以准确反映模型的基本理解能力,而且能够深刻揭示模型对具有误导性提示的问题的鲁棒性。
多模态大语言模型在MMR benchmark上表现
下表展示了 6 个闭源模型和 12 个主流开源 MLLMs 在 MMR 基准上的表现。结论如下:
1)尽管理解了视觉内容,但无论是开源还是闭源模型都对负面问题表现出脆弱性。在闭源模型中,GPT-4o 表现最佳;而在开源模型中,Mini-Gemini-HD-34B 以 69.0% 的 RA 指标领先。然而,与 Mini-Gemini-HD-34B 相比,GPT-4o 对负面问题更为敏感,其 MR 为 19.46%,而 Mini-Gemini-HD-34B 为 15.16%。
2)模型特别容易受到涉及字符级细节、数字、位置、背景、专业知识以及语境等问题的影响。
3)模型在具有较高正面理解能力的子类别上往往表现出更强的抗干扰能力。
指令调优数据集构造
为增强 MLLMs 的理解能力和鲁棒性,我们提出了一种数据构建方法,利用 GPT-4V 生成成对的正面和负面样本进行指导调优,如图 2 所示。包括三个步骤:
1)信息提取。我们从图像中隐式和全面地提取这些详细信息,包括文本、物体属性、人物特征、物体之间关系,人物之间关系,事件和整体感知。
2)指导调优数据生成。我们通过提取的信息生成正面样本,并构建直接与正面样本相矛盾的负面样本。
3)样本过滤。通过关键词匹配过滤样本,去除包含不确定答案和冗余短语的样本。
▲ 图3 指令调优数据集构造过程。
实验结果
通过使用构建的数据集进行实验,我们在 MMR 基准测试及其他通用基准测试中的结果如下表所示。实验结果表明,与使用同类数据训练相比,模型在使用构建的数据集训练时表现出更优越的性能。这表明,构造的数据集能够显著提升模型理解能力和在面对误导性问题时的鲁棒性。
在现有数据集的基础上,我们加入了一些其他对话数据,总共构建了 649k 的数据集,并使用不同的语言模型进行训练。通过与其他模型的对比实验,结果表明,所构建的数据集能够显著提升模型性能。具体实验结果如下表所示。
结语
本研究深入探讨了多模态大语言模型(MLLMs)在准确解读视觉内容并应对负面问题时面临的挑战。我们发现,尽管 MLLMs 展示出对视觉内容细致的理解,但在面对负面问题时往往会出现不准确的答案。
为了量化评估 MLLMs 的表现,我们引入了 MMR 评估框架,旨在全面衡量其对视觉内容的理解和抗负面问题的鲁棒性。 同时,我们提出了一种数据构建方法,并引入了高质量的微调数据,以提升 MLLMs的鲁棒性和理解能力。这项研究强调了改进评估方法和数据策略对于推动 MLLMs 在实际应用中性能提升的重要性。
数据,代码与模型均已开源
论文地址:
https://arxiv.org/abs/2406.10638
项目地址:
https://github.com/BAAI-DCAI/Multimodal-Robustness-Benchmark
benchmark和数据集下载地址:
https://huggingface.co/datasets/BAAI/Multimodal-Robustness-Benchmark
模型地址:
https://huggingface.co/AI4VR/Bunny-MMR-3B
https://huggingface.co/AI4VR/Bunny-MMR-4B
https://huggingface.co/AI4VR/Bunny-MMR-8B
在线demo地址:
http://mmr.dataoptim.org/
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·