大模型日报｜8 篇必读的大模型论文

大家好，今日必读的大模型论文来啦！

1.Hugging Face：构建并更好地理解视觉语言模型

以图像和文本为输入并输出文本的视觉语言模型（VLMs）领域发展迅速，目前尚未就开发管道的几个关键方面达成共识，包括数据、架构和训练方法。

在这项工作中，来自 Hugging Face 的研究团队推出了一个构建 VLM 的教程。他们首先全面概述了当前的 SOTA 方法，强调了每种方法的优缺点，探讨了该领域的主要挑战，并为尚未充分开发的领域提出了有前途的研究方向。然后，他们介绍了构建 Idefics3-8B 的实际步骤，Idefics3-8B 是一个功能强大的 VLM，其性能优于其前身 Idefics2-8B，同时还能在开放数据集上进行高效训练，并使用简单直接的管道。这些步骤包括创建 Docmatix，这是一个用于提高文档理解能力的数据集，比以前可用的数据集大 240 倍。此外，他们发布了该模型以及为训练该模型而创建的数据集。

论文链接：
https://arxiv.org/abs/2408.12637

2.综述：音乐基础模型

在这项工作中，来自伦敦玛丽女王大学的研究团队及其合作者，全面探讨了音乐领域 SOTA 预训练模型和基础模型，包括表征学习、生成学习和多模态学习。

他们首先介绍了音乐在各行各业中的重要性，并追溯了人工智能（AI）在音乐领域的发展历程。通过划分基础模型所针对的模态，他们发现许多音乐表征在基础模型开发中尚未得到充分探索。然后，他们强调了以前的方法在各种音乐应用中缺乏通用性，以及基础模型在音乐理解、生成和医疗应用中的潜力。通过全面探讨模型预训练范式、架构选择、token 化、微调方法和可控性等细节，他们强调了本应深入探讨的重要课题，如指令微调和上下文学习、缩放定律和涌现能力以及长序列建模等。

专门的章节介绍了对音乐智能体（agent）的见解，并对数据集和评估进行了全面分析，这些数据集和评估对于预训练和下游任务至关重要。最后，通过强调道德因素的重要性，他们主张后续的音乐基础模型研究应更加关注可解释性、透明度、人类责任和版权等问题。

论文链接：
https://arxiv.org/abs/2408.14340

3.MobileQuant：端侧模型的“移动友好型”后训练量化

大语言模型（LLM）为语言处理带来了革命性的变化，在多种应用中取得了卓越的成果。然而，在边缘设备上部署 LLMs 在内存、能耗和计算成本方面带来了一些挑战，限制了它们在手机等设备上的广泛应用。

一个有前景的解决方案是减少用于表示权重和激活的比特数。虽然现有研究在将 LLM 量化为较低位宽（如 4-bit 权重）方面取得了部分成功，但将激活量化为 16 位以上往往会因设备量化支持不佳而导致大量计算开销，或导致精确度大幅下降。然而，8-bit 激活对于在端侧部署非常有吸引力，因为它能使 LLM 充分利用移动友好型（mobile-friendly）硬件，如神经处理单元（NPU）。

在这项工作中，来自 Samsung AI Center 的研究团队首次尝试使用纯整数量化来促进 LLM 的端侧部署。他们首先研究了现有量化方法在端侧部署方面的局限性，并特别关注激活量化。然后，他们提出了一种名为 MobileQuant 的简单后训练量化方法来解决这些局限性，该方法通过端到端方式联合优化权重转换和激活范围参数，扩展了之前的权重等效转换工作。与现有方法相比，MobileQuant 具备以下优势：1）在广泛的 LLM 基准上实现了近乎无损的量化；2）与当前的设备上量化策略相比，延迟和能耗降低了 20%；3）所需的计算预算较低；4）与 mobile-friendly 计算单元（如 NPU）兼容。

论文链接：
https://arxiv.org/abs/2408.13933
GitHub 地址：
https://github.com/saic-fi/MobileQuant

4.ToxicDetector：大型语言模型的高效有毒提示检测

ChatGPT 和 Gemini 等大语言模型（LLM）大大推进了自然语言处理的发展，使聊天机器人和自动内容生成等各种应用成为可能。然而，这些模型可能会被恶意人员利用，他们会制作有毒的提示来诱导有害或不道德的回复。这些人通常会使用越狱技术绕过安全机制，这凸显了对强大的有毒提示检测方法的需求。现有的黑盒和白盒检测技术都面临着与有毒提示的多样性、可扩展性和计算效率有关的挑战。

在这项工作中，来自南洋理工大学和上海科技大学的研究团队提出了 ToxicDetector，这是一种轻量级灰盒方法，旨在高效检测 LLM 中的毒性提示。ToxicDetector 利用 LLM 创建有毒概念提示，使用嵌入向量形成特征向量，并使用多层感知器（MLP）分类器进行提示分类。

在各种版本的 Llama 模型、Gemma-2 和多个数据集上进行的评估表明，ToxicDetector 实现了 96.39% 的高准确率和 2.00% 的低误判率，达到了 SOTA。此外，ToxicDetector 每次提示的处理时间仅为 0.0780 秒，非常适合实时应用。ToxicDetector 实现了高精度、高效率和可扩展性，使其成为 LLM 中毒性提示检测的实用方法。

论文链接：
https://arxiv.org/abs/2408.11727

5.英特尔推出首个“三值”多模态大语言模型

要真正实现人工智能（AI）的普惠化，多模态大语言模型（MM-LLM）不仅需要具备强大的能力，也需要能够在大多数人都能使用的小型计算平台上高效运行。

为了实现这一目标，来自英特尔（Intel）的研究团队推出了首个“三值”多模态大语言模型 LLaVaOLMoBitnet1B，其能够接受图像+文本输入，生成连贯的文本响应。该模型与训练脚本一起完全开源，以鼓励在这一领域的进一步研究。技术报告重点介绍了训练过程、评估细节、与“三值”模型相关的挑战以及未来的机遇。

论文链接：
https://arxiv.org/abs/2408.13402

6.MME-RealWorld：迄今为止最大规模人工标注基准

多模态大语言模型（MLLM）的综合评估最近引起了研究界的广泛关注。

然而，来自中国科学院自动化研究所、南京大学和松鼠 AI 的研究团队及其合作者发现，现有基准存在几个共同的障碍，难以衡量模型在现实世界中所面临的重大挑战，其中包括：1) 数据规模小导致性能差异大；2) 依赖基于模型的标注导致数据质量受限；3) 任务难度不够，尤其是有限的图像分辨率造成的。

为了解决这些问题，他们提出了 MME-RealWorld。具体来说，他们从公共数据集和互联网上收集了 30 多万张图片，筛选出 13366 张高质量图片进行标注。25 名专业标注人员和 7 名 MLLM 专家贡献了 29429 个问题-答案对，涵盖了 5 个真实世界场景中的 43 个子任务，即使对人类来说也极具挑战性。

据介绍，MME-RealWorld 是迄今为止规模最大的人工标注基准，具有最高的分辨率，并有针对性地关注真实世界的应用。

他们对 GPT-4o、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等 28 个 MLLM 进行了全面评估。结果表明，即使是 SOTA 模型在这一基准测试中也很难达到 60% 的准确率。他们认为，感知高分辨率图像和理解复杂现实世界场景所面临的挑战仍然是亟待解决的问题。

论文链接：
https://arxiv.org/abs/2408.13257
项目地址：
https://mme-realworld.github.io/

7.浙大、腾讯团队推出定制化视频生成框架 CustomCrafter

定制化视频生成旨在根据文本提示和主题参考图像生成高质量的视频。

然而，由于只在静态图像上进行训练，主体学习的微调过程会破坏视频扩散模型（VDM）组合概念和生成动作的能力。为了恢复这些能力，一些方法会使用与提示相似的额外视频来微调或引导模型。这就需要频繁更换引导视频，甚至在生成不同动作时重新微调模型，这对用户来说非常不便。

在这项工作中，来自浙江大学和腾讯 AI Lab 的研究团队提出了 CustomCrafter 框架，其可以保留模型的动作生成和概念组合能力，而无需额外的视频和微调来恢复。在保留概念组合能力方面，他们设计了一个即插即用模块，用于更新 VDM 中的一些参数，从而增强模型捕捉外观细节的能力和对新对象进行概念组合的能力。在运动生成方面，他们发现 VDM 在去噪的早期阶段倾向于恢复视频的运动，而在后期阶段则侧重于恢复主体细节。因此，他们提出了动态加权视频采样策略。利用主体学习模块的可插拔性，他们在去噪的早期阶段减少了该模块对运动生成的影响，保留了 VDM 运动生成的能力。在随后的去噪阶段，他们恢复该模块以修复指定主体的外观细节，从而确保主体外观的保真度。

实验结果表明，与之前的方法相比，该方法有着显著的改进。

论文链接：
https://arxiv.org/abs/2408.13239
项目地址：
https://customcrafter.github.io/

8.多层 Transformer 模型梯度快速计算

Transformer 架构的自注意机制具有二次方计算复杂性，这给模型训练和推理带来了巨大挑战，尤其是在效率和内存要求方面。

为了应对这些挑战，研究团队提出了一种用于多层 Transformer 模型梯度计算的快速计算方法。该方法能在几乎线性的时间 n^{1+o(1)} 内计算整个多层 Transformer 模型的梯度，其中 n 是输入序列的长度。 这一突破大大减少了传统二次方时间复杂性带来的计算瓶颈。这一理论适用于任何损失函数，并在整个模型中保持有界的近似误差。

此外，当多层 Transformer 模型包含许多实用的子模块（如残差连接、随意掩码和多头注意力）时，该分析也能成立。通过提高大语言模型中梯度计算的效率，他们希望这一工作能在理论成果的基础上促进长上下文语言模型更有效的训练和部署。

论文链接：
https://arxiv.org/abs/2408.13233