多模态模型‘遗忘’原有的语言能力，回答不详细、理解力下降！这个痛点你遇到过吗？

在AI训练中，是否遇到过多模态模型‘遗忘’原有语言能力的情况？模型回答不详细，文本理解力下降，让人头疼不已。360团队提出全新IAA结构，通过内部适配器巧妙处理多模态任务，在不修改语言模型参数的情况下，大幅提升视觉任务表现，保留原有NLP能力。

引言：多模态模型开发被忽略的“遗忘”问题

在当前的多模态大模型（LMM）开发中，以LLaVA架构为代表的模型虽然在视觉任务上表现优异，但存在一个被广泛忽视的难题：内嵌语言模型在训练过程中容易发生“灾难性遗忘”。这种遗忘会显著削弱模型在文本任务上的表现，导致回答不详细、理解力下降。为了验证这一问题，研究团队在LLaVA-1.5的实验中发现，无论是基于Qwen2还是Llama3语言模型的架构，在训练前后的纯文本基准测试中得分均有显著下降。

IAA: 无语言能力遗忘的多模态框架

导致“灾难性遗忘”的根本原因在于，为了提升多模态模型的视觉任务能力，内嵌语言模型在训练中必须参与调整，进而影响其原有的语言处理能力。尽管一些模型尝试整合纯文本数据来缓解这一问题，但效果并不理想。360团队为此提出了IAA（内部适配器结构），通过冻结语言模型参数，确保其原有能力不受损，同时显著提升模型的多模态处理性能。

IAA结构可以让LMM同时运行两个独立的工作流：一个用于多模态交互，另一个用于纯文本对话。这种架构设计不仅保留了模型的NLP能力，还有效提升了多模态理解和视觉定位的性能。 多模态交互工作流包括以下三个部分：

1. 图像编码器与MLP层：使用图像编码器（如CLIP或SigLIP）提取高质量的图像特征，并通过MLP层实现视觉与语言的对齐。
2. 大语言模型：在训练期间保持冻结状态，以保留原有的语言处理能力。
3. 内部适配器结构：包括插入层、嵌入层以及专为多模态输入设计的语言模型头。

纯文本对话工作流则仅包含原始的大语言模型，不添加其他特定的模块。

为了进行更好的多模态训练，本文同时引入了新的嵌入层和语言模型头，这些同样由原始的语言模型对应的结构初始化而来。在所有的多模态训练阶段里，原始的语言模型保持固定，仅对新加入的结构进行训练。最终，本文选择了图3©中所示的结构，并将其命名为内部适配器结构（IAA）。实验结果验证了这种策略的有效性。

训练策略：两阶段预训练，确保稳定与精度

为了优化IAA的性能，360团队设计了一个两阶段的预训练策略。第一阶段专注于训练图像编码器与MLP投影层，以高学习率确保投影层质量。第二阶段则加入IAA结构，并降低学习率，精细调整模型。经过这一过程，IAA不仅在多模态任务中表现卓越，还成功避免了“灾难性遗忘”问题。

通用多模态实验评估

本文将对比方法分为两大类：一类是采用冻结语言模型进行训练的，另一类则是采用未冻结（即微调）语言模型进行训练的。为了进行深入的分析，360团队详细展示了每种方法所使用的数据集大小，以及它们所依赖的图像编码器、大语言模型等关键组件。通过比较，我们可以明显看出，360团队提出的方法在使用冻结语言模型训练的类别中展现出了显著的优势。这一结果表明，360团队的方法在保持模型原有能力的同时，还能有效提升其在多模态任务上的表现。

纯文本评测实验评估

下图展示了不同模型在纯文本对话任务上的性能表现。从中可以清晰看出，IAA在处理纯文本对话时，成功保留了语言模型原有的对话能力。与此形成对比的是，开源的LMM，例如LLaVA-Llama3和LLaVA-v1.5，由于受到多模态数据的影响，其在纯文本对话任务上的表现有所下降。当面对相同的提问时，LLaVA-Llama3和LLaVA-v1.5给出的回答往往更为简短。这种现象与它们在训练过程中接触的大量多模态数据中文本长度普遍较短的事实密切相关。对大语言模型进行微调，尤其是在处理多模态数据时，可能会削弱模型深入理解内容并生成详尽回复的能力。因此，IAA的设计在保持模型对话质量方面显示出其独特的优势。

样例展示

IAA结构为解决多模态模型训练中的“灾难性遗忘”问题提供了一种有效的方案。通过冻结语言模型并引入适配器结构，IAA在保留语言模型原有自然语言处理能力的同时，显著增强了多模态理解和视觉定位能力。这一创新不仅为当前的多模态模型带来了性能提升，也为未来多模态模型的扩展提供了新的方向。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】