大模型日报｜8 篇必读的大模型论文

大家好，今日必读的大模型论文来啦！

1.大语言模型是可解释的学习者

在建立以人为中心的分类和决策预测模型时，表达能力和可解释性之间的权衡仍然是一个核心挑战。符号规则虽然具有可解释性，但往往缺乏表现力，而神经网络虽然性能更好，却是一个黑箱。

来自加州大学洛杉矶分校和谷歌的研究团队展示了大语言模型（LLM）与符号程序的结合可以弥补这一缺陷。在所提出的基于 LLM 的符号程序（LSP）中，预训练的 LLM 配合自然语言提示提供了大量可解释的模块集，可将原始输入转化为自然语言概念。然后，符号程序将这些模块整合到可解释的决策规则中。

为了训练 LSP，他们开发了一种分治方法，从零开始增量构建程序，其中每一步的学习过程都由 LLM 指导。为了评估 LSP 从数据中提取可解释的准确知识的效果，他们提出了一个多样化任务的集合 IL-Bench，包括不同模式的合成场景和真实世界场景。实证结果表明，与传统的神经符号程序和虚构的自动提示微调方法相比，LSP 的性能更胜一筹。此外，由于 LSP 学习到的知识是自然语言描述和符号规则的结合，因此很容易转移给人类（可解释）和其他 LLM，并能很好地泛化到分布外样本。

论文链接：
https://arxiv.org/abs/2406.17224
GitHub 地址：
https://github.com/ruocwang/llm-symbolic-program

2.将扩散模型与噪声条件感知对齐

人类偏好优化方面的进展最初是针对语言模型（LMs）开发的，如今已显示出文文生图扩散模型的前景，可增强及时对齐、视觉吸引力和用户偏好。

然而，与语言模型不同，扩散模型通常在像素或 VAE 空间中进行优化，这与人类的感知并不一致，导致偏好对齐阶段的训练速度较慢，效率较低。来自俄罗斯国立高等经济大学、人工智能研究所和俄罗斯科学院信息系统研究所的研究团队建议在扩散模型的 U-Net 嵌入空间中使用感知目标来解决这些问题。他们的方法包括在此嵌入空间内使用直接偏好优化（DPO）、对比偏好优化（CPO）和监督微调（SFT）对 Stable Diffusion 1.5 和 XL 进行微调。

在质量和计算成本等各项指标上，该方法明显优于标准的延迟空间实现方法。就 SDXL 而言，与 PartiPrompts 数据集上原始开源的 SDXL-DPO 相比，他们的方法提供了 60.8% 的一般偏好度、62.2% 的视觉吸引力和 52.1% 的提示跟随度，同时大幅降低了计算成本。他们的方法不仅提高了扩散模型的人类偏好对齐的效率和质量，而且很容易与其他优化技术整合。

论文链接：
https://arxiv.org/abs/2406.17636

3.开启语言模型的持续学习能力

语言模型（LM）表现出令人印象深刻的性能和泛化能力。然而，语言模型一直面临着灾难性遗忘的挑战，这破坏了它们在持续学习（CL）中的长期可持续性。现有方法通常通过将旧任务数据或任务归纳偏差纳入 LM 来解决这一问题。然而，旧数据和准确的任务信息往往无法获得或收集成本高昂，这阻碍了当前用于 LM 的持续学习方法的可用性。

为此，来自香港大学、中国科学院信息工程研究所和香港科技大学的研究团队提出了一种基于 MagnItude 的梯度更新持续学习且无需演练和任务标签的方法 MIGU，只更新 LM 线性层中输出幅度较大的模型参数。

基于他们的观察，当 LM 模型处理不同的任务数据时，LM 线性层中输出的 L1 归一化幅度分布是不同的。通过对梯度更新过程施加这一简单的约束，他们可以利用 LM 的固有行为，从而释放它们与生俱来的 CL 能力。实验证明，MIGU 可普遍适用于所有三种 LM 架构（T5、RoBERTa 和 Llama2），在四种 CL 基准上的持续微调和持续预训练设置中都能提供较强或相当的性能。例如，在 15 个任务的 CL 基准中，MIGU 比传统的参数高效微调基线平均提高了 15.2% 的准确率。MIGU 还可与三种现有 CL 类型无缝集成，从而进一步提高性能。

论文链接：
https://arxiv.org/abs/2406.17245
GitHub 地址：
https://github.com/wenyudu/MIGU

4.MotionBooth：运动感知的定制文生视频功能

来自北京大学、新加坡南洋理工大学和上海 AI Lab 的研究团队及其合作者提出了一个旨在通过对物体和摄像机运动的精确控制，为定制的主题制作动画的创新框架 MotionBooth。通过利用特定对象的几张图像，他们有效地微调了文生视频模型，从而准确捕捉对象的形状和属性。他们的方法提出了主体区域损失和视频保存损失，从而增强主体的学习性能，同时还提出了主体 token 交叉注意力损失，从而整合定制主体与运动控制信号。

此外，他们还提出了在推理过程中管理主体和摄像机运动的免训练技术。特别是他们利用交叉注意力图操作来控制主体运动，并提出了一个新颖的潜移模块来控制摄像机运动。MotionBooth 在保持主体外观的同时，还能控制生成视频中的运动。广泛的定量和定性评估证明了他们方法达到了的 SOTA。

论文链接：
https://arxiv.org/abs/2406.17758
GitHub 地址：
https://jianzongwu.github.io/projects/motionbooth/

6.Octo-planner：用于计划-行动智能体的端测语言模型

智能体在各个领域的作用越来越大，可以实现自主决策和解决问题。为了有效发挥作用，这些智能体需要一个规划过程，从而确定最佳行动方案，然后执行规划的行动。

来自 Nexa AI 研究院、斯坦福大学和麻省理工学院的研究团队提出了一个高效的端测计划-行动框架，它将计划和行动执行分为两个不同的部分 —— 一个是基于 Phi-3 Mini 的计划智能体，这是一个针对端测设备优化的 38 亿参数 LLM；另一个是使用 Octopus 模型执行功能的行动智能体。计划智能体首先响应用户查询，将任务分解为一系列子步骤，然后由行动智能体执行。

为了在资源有限的设备上优化性能，衙门采用了模型微调而不是上下文学习，从而降低了计算成本和能耗，同时提高了响应时间。他们的方法包括使用 GPT-4 根据可用功能生成各种规划查询和响应，并进行后续验证从而确保数据质量。他们在这个经过策划的数据集上对 Phi-3 Mini 模型进行了微调，在他们的域内测试环境中实现了 97% 的成功率。为应对多领域规划挑战，他们开发了一种多 LoRA 训练方法，该方法可合并在不同功能子集上训练的 LoRA 的权重。这种方法可以灵活处理复杂的多域查询，同时在资源有限的设备上保持计算效率。

论文链接：
https://arxiv.org/abs/2406.18082
项目地址：
https://www.nexa4ai.com/octo-planner

7.CharXiv：评估 MLLM 在真实图表理解中的差距

在将多模态大语言模型（MLLM）应用于分析科学论文或财务报告等实际任务时，图表理解起着举足轻重的作用。

然而，现有的数据集往往侧重于过于简化和同质化的图表，并且基于模板的问题，导致对进展的衡量过于乐观。来自普林斯顿大学、威斯康星大学麦迪逊分校和香港大学的研究团队表明，虽然开源模型在这些基准上的表现似乎优于强大的专有模型，但使用略有不同的图表或问题进行简单的压力测试，就能使性能下降高达 34.5%。

为此，他们提出了一个综合评估套件 CharXiv，涉及来自 arXiv 论文的 2323 个自然、具有挑战性和多样性的图表。CharXiv 包括两类问题：（1）关于检查基本图表元素的描述性问题（2）要求综合图表中复杂视觉元素信息的推理问题。为确保质量，所有图表和问题均由人类专家手工挑选、策划和验证。结果表明，较强的专有模型（即 GPT-4o）和较强的开源模型（即 InternVL Chat V1.5）的推理能力之间存在着巨大的、以前被低估的差距，前者的准确率为 47.1%，后者为 29.2%。所有模型的准确率都远远低于人类的 80.5%，这凸显了现有 MLLM 在图表理解能力方面的不足。他们希望 CharXiv 能够提供更真实、更忠实的进展衡量标准，从而促进未来对 MLLM 图表理解的研究。

论文链接：
https://arxiv.org/abs/2406.18521
项目地址：
https://charxiv.github.io/

8.通过 RLHF 实现 AI 对齐？矛盾与局限

来自于默奥大学、阿姆斯特丹自由大学和代尔夫特理工大学的研究团队通过反馈强化学习（RLxF）方法，对人工智能（AI）系统，尤其是大语言模型（LLMs），与人类价值观和意图相一致的尝试进行了批判性评估，包括人类反馈（RLHF）或人工智能反馈（RLAIF）。具体来说，他们展示了广泛追求的诚实、无害和乐于助人等一致性目标的不足之处。

通过多学科的社会技术批判，他们研究了 RLxF 技术的理论基础和实际应用，揭示了它们在捕捉人类道德的复杂性和促进 AI 安全方面的重大局限性。他们强调了 RLxF 目标中固有的紧张和矛盾。此外，他们还讨论了在有关对齐和 RLxF 的讨论中往往被忽视的伦理相关问题，其中包括用户友好与欺骗、灵活性与可解释性以及系统安全性之间的权衡。最后，他们敦促研究人员和从业人员批判性地评估 RLxF 的社会技术影响，倡导在 AI 开发中采用更加细致入微、更具反思性的方法。

论文链接：
https://arxiv.org/abs/2406.18346