第十篇：多模态大模型CoIN: A Benchmark of Continual Instruction Tuningfor Multimodal Large Language Models

已于 2025-12-10 00:33:18 修改
阅读量244 收藏
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 多模态大模型 文章标签： 语言模型 人工智能 自然语言处理
于 2025-12-10 00:31:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74009895/article/details/155617866

第一部分：基本信息

  • 会议/时间：NeurIPS 2024（明确发表于 2024 年底）

  • 主题：提出多模态大模型（MLLMs）的持续指令微调基准，关注灾难性遗忘与任务顺序影响。

  • 地位：这是四篇中最早的，奠定了 MLLM 训练过程分析的基础，尤其是 LoRA 的持续学习问题。

第二部分：解决的问题

（1）主要问题

  • 没有适用于多模态大模型的“持续指令微调”基准
    现有工作要么只研究纯文本 LLM，要么只在单一任务（比如分类）上分析 MLLM(多模态大预言模型) 的遗忘现象，缺乏一个覆盖多种视觉任务、可系统分析灾难性遗忘 的公共 基准（测试 / 数据集）。

  • 在本文中，我们提出 CoIN—— 一个专为评估现有 MLLMs 在持续指令微调下</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 8753
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language ModelsMME：多模态大语言模型综合评估基准
Mars_prime的博客
12-11 7904
在本节中，我们对 MME 基准进行了大量实验，以评估总共 12 个开源 MLLM，包括 BLIP-2、LLaVA、MiniGPT-4、mPLUG-Owl、LLaMA-Adapter-v2、Otter、Multimodal-GPT、 InstructBLIP、VisualGLM-6B、PandaGPT、ImageBind-LLM 和 LaVIN。细粒度的识别更多的是测试MLLM的知识资源。为了推断出正确的答案，MLLM需要遵循指令，感知图像的内容，并调用LLM中保留的知识，这比单一的感知任务更具挑战性。
引领高效多模态大语言模型的未来 —— 推荐《Efficient Multimodal Large Language Models: A Survey》
gitblog_00086的博客
06-15 1061
???? 引领高效多模态大语言模型的未来 —— 推荐《Efficient Multimodal Large Language Models: A Survey》 在当前人工智能发展的浪潮中，多模态大型语言模型（Multimodal Large Language Models, MLLMs）凭借其强大的视觉问答与理解推理能力，正在成为引领科技前沿的关键技术之一。然而，高昂的训练和推理成本，以及庞大的模型体...
论文精读：Hallucination of Multimodal Large Language Model: A Survey
lF1024的博客
07-31 2369
本文综述了多模态大语言模型(MLLM)中的幻觉问题，将其定义为模型输出与视觉输入不一致或产生事实错误的现象。文章将幻觉分为物体、属性和关系三类，并分析了MLLM的架构与训练流程。重点探讨了数据、模型、训练和推理四个维度的幻觉成因及解决方案：数据层面提出了正负例均衡、因果数据和推理数据等改进方法；模型层面建议提升视觉编码器分辨率和改进模态对齐；训练层面引入了辅助监督和强化学习优化。最后指出当前评估基准和指标的不足，为未来研究方向提供了建议。该研究系统梳理了MLLM幻觉问题的关键因素与缓解策略。
MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models论文阅读
ybyyby123的博客
11-30 2033
此文出于对多模态大模型很容易被破坏的缘故，提出了MM SafetyBench数据集，用于对MLLM进行安全评估，总共有13个场景，5040个文本图像对。还提出用用扩散模型和排版生成的图像，来创建图像提示，以绕过MLLM中的安全性防御机制介绍FigStep算法，通过将有害指令转换为图像来对VLM进行攻击，并且证明出在具有OCR功能的GPT-4V上也有较高攻击率。
【GitHub项目推荐--Awesome-Multimodal-Large-Language-Models：多模态大模型资源完全指南】
j8267643的博客
09-19 1456
​​ 是由BradyFU维护的综合性多模态大语言模型资源集合，涵盖了最新的多模态AI研究进展、模型、数据集和评估基准。该项目系统性地整理了多模态大语言模型领域的最新成果，为研究人员、开发者和学习者提供了全面的参考资料和学习路径。🔗 ​GitHub地址⚡ ​核心价值​：多模态AI · 资源集合 · 研究指南 · 开源学习​项目特色​：​全面性​：涵盖多模态AI各个子领域的最新进展​系统性​：按技术方向和资源类型精心分类整理​及时性​：持续更新最新研究和模型发布​实用性。
【MLLM阅读笔记-9】KOSMOS-2精读，多模态大模型目标检测：Grounding Multimodal Large Language Models to the World
Mugi_jiang的博客
08-30 1935
论文标题： KOSMOS-2: Grounding Multimodal Large Language Models to the World GitHub： https://aka.ms/GeneralAI需要部署教程的话在评论区提，作者会更的。强调grounding能力的多模态大模型。 构建了大规模的定位图文对数据集GRIT。 能用于各种定位相关的下游任务。 并非通用MLLM，没有做MME等基准的实验，可以视为一个可对话的OVD检测模型，带caption功能。先强调了一下grounding能力的重要性和
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 2077
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
不止综述！多模态大模型持续学习全链路：Benchmark、方法与Codebase一网打尽
Paper weekly
09-09 328
研究涵盖大语言模型（LLMs）在自然语言理解与生成中的知识保留与任务适应、多模态大模型（MLLMs）处理跨模态数据时的抗遗忘能力、视觉语言动作模型（VLA）在机器人动态环境中的行为迁移与适应，以及扩散模型（Diffusion Models）针对个性化生成需求的增量学习。数据是多模态大模型强大性能的核心支撑，因此，在研究多模态大模型的持续学习任务前，首要问题是构建一个由多个下游任务组成，且其数据与多模态大模型的预训练语料库不重叠的评价基准。总有一些你不认识的人，知道你想知道的东西。
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 5784
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（一）
qq_55923034的博客
11-26 1034
在过去的一年中，多模态大语言模型( MM-LLMs )取得了长足的发展，通过经济有效的培训策略，增加了现成的LLMs，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，还赋予了MM任务多样化的能力。在本文中，我们提供了一个全面的综述，旨在促进MM - LLMs的进一步研究。首先，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含126种MM - LLMs的分类学，每种MM - LLMs都有其特定的剂型。
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（二）
qq_55923034的博客
11-26 1110
—腾讯人工智能实验室、日本京都大学、阿联酋穆罕默德·本·扎耶德人工智能大学2024.2发布在arxiv 2024.8 发表在《Findings of the Association for Computational Linguistics: ACL 2024》上，属于中科院2区太长不看版-AI总结：在LLMs出现之前，已有多次对传统多模态预训练（MM PT）的调查。这些模型由于端到端训练需要大量计算资源，且在指令跟随、上下文学习（ICL）、思维链（CoT）和交互能力等方面存在不足。
Woodpecker: Hallucination Correction for Multimodal Large Language Models----啄木鸟：多模态大语言模型的幻觉校正
Mars_prime的博客
11-29 1648
多模态大型语言模型（MLLM）[41]现在在研究界蓬勃发展，致力于通用人工智能（AGI）。通过利用强大的大型语言模型 (LLM)，研究人员将视觉等外来模态与语言结合起来，并开发具有各种令人兴奋的功能的 MLLM [1,21,40,44,47]，例如完整描述给定图像的内容。然而，尽管这些 MLLM 很强大，但它们有时会输出与输入图像不一致的描述。它被称为幻觉，并且已被发现在 MLLM 中普遍存在[20]。
深度学习下载包时可能会遇到的问题及解决方案
最新发布
m0_50481455的博客
12-09 283
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 704
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
淋曦的进击手记
12-07 1423
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
AI泡沫什么时候破？
脑极体
12-04 835
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
LLM交互工具汇总：Open WebUI、ChatBot-UI、浏览器插件、Studio
lonelymanontheway的博客
12-05 805
Open WebUI、实战、mcpo、ChatBot-UI、实战、轻量级、浏览器插件、Page Assist、ollama-ui、Studio类工具、Cherry Studio、LM Studio、Msty Studio、参考、
宝马，如何建设一座AI汽车工厂？｜产业AI案例
chanyejiawang的博客
12-08 991
AI汽车时代来袭
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

还不秃顶的计科生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值