大模型日报｜4 篇必读的大模型论文

大家好，今日必读的大模型论文来啦！

1.ChatGLM 技术报告：从 GLM-130B 到 GLM-4 AII Tools

GLM 技术团队介绍了 ChatGLM，这是一个不断发展的大语言模型系列。本报告主要关注 GLM-4 语言系列，包括 GLM-4、GLM-4-Air 和 GLM-4-9B。它们代表了 GLM 技术团队推出的前沿模型，这些模型是在吸取了前三代 ChatGLM 的所有经验和教训的基础上训练出来的。迄今为止，GLM-4 模型已在 10 万亿个 token（主要是中文和英文）以及 24 种语言的小型语料库上进行了预训练，并主要针对中文和英文的用法进行了对齐。高质量的对齐是通过多阶段的后训练过程实现的，其中包括监督微调和从人类反馈中学习。

评估结果表明，GLM-4 在 MMLU、GSM8K、MATH、BBH、GPQA 和 HumanEval 等通用指标方面与 GPT-4 非常接近，甚至优于 GPT-4；在指令跟随方面接近 GPT-4-Turbo（以 IFEval 衡量）；在长上下文任务方面比肩 GPT-4 Turbo (128K) 和 Claude 3；在中文对齐方面优于 GPT-4（以 AlignBench 衡量）。

GLM-4 All Tools 模型经过进一步对齐，能够理解用户意图，并自主决定何时以及使用哪种工具（包括网络浏览器、Python 解释器、文本到图像模型以及用户自定义函数）来有效完成复杂任务。在实际应用中，GLM-4 All Tools 在通过网页浏览访问在线信息和使用 Python 解释器解决数学问题等任务中的表现超过了 GPT-4 All Tools。

GLM 技术团队开源了一系列模型，包括 ChatGLM-6B（1、2、3 代）、GLM-4-9B（128K、1M）、GLM-4V-9B、WebGLM 和 CodeGeeX，仅在 2023 年就在 Hugging Face 上吸引了超过 1000 万次下载。

论文链接：
https://arxiv.org/abs/2406.12793
GitHub 地址：
https://github.com/THUDM
Hugging Face 地址：
https://huggingface.co/THUDM

2.BPO：与行为 LLM 相近的在线偏好优化

根据偏好直接对齐（DAP）已经成为一种很有前途的范式，它可以根据预先收集的离线偏好数据集，将大语言模型（LLM）与人类的需求对齐。

最近的研究表明，现有的离线 DAP 方法可以直接受益于在线训练样本。然而，来自加州大学圣塔巴巴拉分校和卡内基梅隆大学的研究团队强调有必要开发特定的在线 DAP 算法，从而充分利用在线训练的优势。

具体来说，他们认为学习到的 LLM 应与收集训练样本的行为 LLM 保持一致。为此，他们提出了与行为 LLM 相近的在线偏好优化（BPO），强调了为 LLM 对齐构建适当信任区域的重要性。

他们进行了广泛的实验，通过将他们的方法与各种 DAP 方法整合，验证了它的有效性和适用性，结果发现，在使用相同数量的偏好数据进行训练时，他们的方法在各种任务中都取得了显著的性能提升。即使只引入了一个额外的数据收集阶段，他们的在线 BPO 在 TL;DR 和 Anthropic Helpfulness 两项任务中的胜率也分别从 72.0% 和 82.2% 提高到了 80.2%和 89.1%。

论文链接：
https://arxiv.org/abs/2406.12168
GitHub 链接：
https://www.jenmusic.ai/research#DreamStyler

3.JEN-1 DreamStyler：通过参数微调定制音乐概念学习

目前，文生音乐大模型已经取得了重大进展，这有助于根据所提供的文本提示创作出高质量和多样化的音乐作品。然而，输入文本提示可能无法准确捕捉用户需求，尤其是当目标是生成体现从指定参考集合中提取的特定概念的音乐时。

来自 Futureverse 的研究团队提出了一种定制文生音乐的新方法，它可以从两分钟的参考音乐中捕捉概念，并生成符合概念的新音乐。他们通过使用参考音乐微调预训练的文生音乐模型来实现这一目标。

然而，直接微调所有参数会导致过拟合问题。为此，他们提出了一种关键参数微调方法，使模型在吸收新概念的同时保留其原有的生成能力。此外，在对预训练模型提出了多个概念时，他们还发现了潜在的概念冲突。他们提出了一种概念增强策略来区分多个概念，使微调模型能够同时生成包含单个或多个概念的音乐。在定性和定量评估中，他们提出的 Jen1-DreamStyler 均优于几种基线。

论文链接：
https://arxiv.org/abs/2406.12292

4.DeepSeek-AI 推出开源 MoE 代码语言模型 DeepSeek-Coder-V2

来自 DeepSeek-AI 的研究团队提出了一种开源的专家混合（MoE）代码语言模型 DeepSeek-Coder-V2，在代码特定任务中实现了与 GPT4-Turbo 相当的性能。具体来说，DeepSeek-Coder-V2 是在 DeepSeek-V2 的中间检查点基础上进一步预训练的，额外增加了 6 万亿个 token。通过这种持续的预训练，DeepSeek-Coder-V2 大幅增强了 DeepSeek-V2 的编码和数学推理能力，同时在通用语言任务中保持了相当的性能。

与 DeepSeek-Coder-33B 相比，DeepSeek-Coder-V2 在代码相关任务的各个方面，以及推理和一般能力方面都有显著提高。此外，DeepSeek-Coder-V2 支持的编程语言从 86 种增加到 338 种，上下文长度从 16K 增加到 128K。在标准基准评估中，DeepSeek-Coder-V2 在编码和数学基准测试中的表现优于 GPT4-Turbo、Claude 3 Opus 和 Gemini 1.5 Pro 等闭源模型。

论文链接：
https://arxiv.org/abs/2406.11931
GitHub 网址：
https://github.com/deepseek-ai/DeepSeek-Coder-V2