清华：模块化视角优化LLM架构

📖标题：Configurable Foundation Models: Building LLMs from a Modular Perspective
🌐来源：arXiv, 2409.02877

摘要

🔸最近，LLM的进展揭示了与计算效率和持续可扩展性相关的挑战，由于它们需要大量参数，使得在计算资源有限的设备和需要各种能力的情况下应用和发展这些模型变得越来越麻烦。受人类大脑模块化的启发，越来越多的人倾向于将LLM分解为许多功能模块，允许对部分模块进行推理和动态组装模块来解决复杂任务，如专家混合。为了突出模块化方法的固有效率和可组合性，我们将术语“brick”用于表示每个功能模块，将模块化结构指定为可配置的基础模型。
🔸在本文中，我们全面概述和研究了可配置基础模型的构建、利用和局限性。我们首先将模块形式化为新兴的brick——在预训练阶段出现的功能神经元分区和定制brick——通过额外的后期训练构建的brick，以提高LLM的能力和知识。基于不同的功能brick，我们进一步提出了四个brick导向的操作：检索和路由、合并、更新和增长。这些操作允许根据指令动态配置LLM来处理复杂任务。为了验证我们的观点，我们对广泛使用的LLM进行了实证分析。我们发现，FFN层遵循具有神经元功能专业化和功能神经元分区的模块化模式。最后，我们强调了未来研究的几个开放问题和方向。
🔸总的来说，本文旨在为现有的LLM研究提供新的模块化视角，并激发未来更高效、可扩展的基础模型的创造。

🛎️文章简介

🔸研究问题：如何通过模块化的方式构建和使用大型语言模型（LLMs），以提高计算效率和可扩展性？
🔸主要贡献：论文提出了可配置基础模型的概念，并详细分析了其框架、构建方法、操作和评估指标，为下一代基础模型架构的发展提供了新的见解和方法。

📝重点思路

🔺相关工作

🔸终端部署：随着LLM能力的不断提高，将模型部署在手机和电脑等计算能力有限的设备上越来越受到关注。
🔸跨领域应用：不同领域、用户、甚至不同指令所需的知识和能力差异很大，将所有知识存储在整体LLM中并以完整参数服务会导致性能次优。
🔸新场景演进：需要LLM能够有效地适应新任务并从环境反馈中学习，且储存的世界知识也在不断更新和扩展，需要避免遗忘现有知识。

🔺研究问题

🔸如何形式化并构建可配置基础模型的块？
🔸如何利用现有的模块来构建可配置的基础模型，以满足现实世界任务日益增长的复杂需求？

🔺论文方案

🔸模块化分解：将预训练LLM分解为具有预定义结构或自组织功能神经元簇的模块，并讨论了如何通过模块化分解来解决效率和可扩展性问题。
🔸定制模块构建：探讨了将外部知识和能力参数化为神经模块，这些模块以即插即用的方式插入LLM，以增强其性能。
🔸模块粒度选择：讨论了如何选择模块的粒度以在效率和效果之间进行权衡。
🔸模块化操作：描述了与可配置模块相关的操作，包括路由（根据指令从大量模块中进行检索）、组合（多个单一功能的模块以赋予系统复合能力）、更新（适应世界知识和需求的变化）、扩展（以适应新数据带来的新能力）。

🔎分析总结

🔸模块化分解可以显著提高计算效率，减少不必要的参数计算。
🔸定制模块使得LLM能够动态注入新知识，提高模型的适应性和性能。
🔸不同粒度的模块具有潜在的包容关系，高层次能力可以分解为低层次任务。
🔸可配置的LLM具有高效率、可重用性、可追溯性、可持续性和分布式计算等优势。
🔸模块的稀疏性和解耦性是评估可配置基础模型性能的重要指标。

💡个人观点

论文通过模块化视角构建可配置的基础模型，显著提高了大型语言模型的计算效率和可扩展性。

附录