ECCV 2024｜是真看到了，还是以为自己看到了？多模态大模型对文本预训练知识的过度依赖该解决了

本文第一作者皮仁杰是香港科技大学三年级博士生，师从张潼教授和周晓方教授。此前获得香港大学计算机工程学士学位。研究兴趣为多模态大语言模型，以数据为中心的人工智能，以及自动化机器学习。

随着大型语言模型（LLMs）的进步，多模态大型语言模型（MLLMs）迅速发展。它们使用预训练的视觉编码器处理图像，并将图像与文本信息一同作为 Token 嵌入输入至 LLMs，从而扩展了模型处理图像输入的对话能力。这种能力的提升为自动驾驶和医疗助手等多种潜在应用领域带来了可能性。

尽管 MLLMs 具有出色的图文理解能力，但它们仍然会出现错误或幻觉，生成与输入图像不相符的相应，例如回答不存在的对象或错误识别属性等。我们认为多模态大模型在不同训练阶段的数据量和训练时间的不平衡是产生这类偏见的主要原因之一。多模态大模型的语言模块往往使用了海量的文本数据进行预训练，而模态对齐阶段则使用更小的数据规模和更短的训练时间。

为了解决上述问题，我们提出了一种偏好对齐方法 --Bootstrapped Preference Optimization（BPO），能在缓解多模态大模型的幻觉现象的同时提升模型的视觉理解能力。

• 论文标题：Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization
• 论文链接：https://arxiv.org/pdf/2403.08730
• 代码链接：https://github.com/pipilurj/bootstrapped-preference-optimization-BPO-

具体来讲，我们设计了两种方法去自动构建偏好学习的负样本，使得多模态模型对与训练的过度依赖暴露出来。之后，我们用原本的数据标注当作正样本，对多模态模型进行偏好微调。总的来说，我们的主要贡献有：

\1. 我们提出了一种新的视角，将多模态对齐问题转化为偏好学习任务，其中预训练偏见和视觉理解能力被视为旧的和新的偏好；

\2. 我们介绍了一种自动化构建大规模偏好数据集的方法。通过该方法能构造出大量带有预训练偏见信息的负面样本；

\3. 在大量实验上证明了我们的方法能有效地提升多模态大模型对于图像的认知能力，训练后的模型在多个基准测试中性能得到提升。

可扩展的偏好数据集构建

对于偏好数据集的正面样本，已经有许多为监督微调而设计的现成数据集，例如通过 LlaVA 和 MiniGPT4 生成的高质量标注问答数据、ShareGPTV 利用强大的 GPT4-V 作为工具为图像生成高质量标题。我们将这些已标注完成的公开数据集作为偏好数据集中的正面响应，在保证高质量数据对的同时避免了昂贵的人工标注。

为了能收集到能反映预训练偏见的负面响应数据，我们提出了两种方法。

a. 弱化图像提示：我们给偏好数据集中的图片数据加上噪声，以此破坏图像特征，使多模态大模型在回答时更倾向原始的预训练分布，由此产生的错误响应会包含 LLM 模块的固有偏见。从图中可以看到，我们通过像图片中加入不同程度的噪声，正确答案出现的概率就越小，带有预训练偏见的答案出现的概率也就越大。

b. 错误注入：我们要求多模态大模型对应的大语言模型直接改写响应，要求模型生成与答案相近但不完全一样的错误回答。

接下来，我们采用直接偏好优化（DPO）对多模态模型进行优化：

实验评估

我们采用经过 BPO 微调过后的 LLaVA 模型（LLaVA-7B-BPO 和 LLaVA-13B-BPO）在 MM-Vet，LLaVA-Wild 和 Object HalBench 上测试。MM-Vet 和 LlaVA-Bench 是专门用来衡量模型综合能力的榜单，Object HalBench 则是评估多模态大模型的视觉可信度。

实验结果表明，经过 BPO 微调后的模型在三个基准测试榜单的所有任务中均取得领先。在大多数任务上，LLaVA-7B-BPO 的表现甚至超过了未曾微调的 LLaVa1.5-13B 模型。

我们还将 BPO 与监督微调训练（SFT）进行对比。我们通过直接使用数据集中的正样本作为监督数据对模型进行微调。实验表明经过 BPO 微调过的多模态大模型在不同类别的子任务下的表现均优于 SFT 微调。

在定性结果上，我们对比了 BPO 微调前后多模态大模型的表现。我们发现经过 BPO 微调后的模型能生成更忠诚于图像输入的答案，并且包含更少错误信息。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

本文转自 https://blog.csdn.net/python122_/article/details/140789700?spm=1001.2014.3001.5501，如有侵权，请联系删除。