清华：模块化视角优化LLM架构

📖标题：Configurable Foundation Models: Building LLMs from a Modular Perspective
🌐来源：arXiv, 2409.02877

摘要

🔸最近，LLM的进展揭示了与计算效率和持续可扩展性相关的挑战，由于它们需要大量参数，使得在计算资源有限的设备和需要各种能力的情况下应用和发展这些模型变得越来越麻烦。受人类大脑模块化的启发，越来越多的人倾向于将LLM分解为许多功能模块，允许对部分模块进行推理和动态组装模块来解决复杂任务，如专家混合。为了突出模块化方法的固有效率和可组合性，我们将术语“brick”用于表示每个功能模块，将模块化结构指定为可配置的基础模型。
🔸在本文中，我们全面概述和研究了可配置基础模型的构建、利用和局限性。我们首先将模块形式化为新兴的brick——在预训练阶段出现的功能神经元分区和定制brick——通过额外的后期训练构建的brick，以提高LLM的能力和知识。基于不同的功能brick，我们进一步提出了四个brick导向的操作：检索和路由、合并、更新和增长。这些操作允许根据指令动态配置LLM来处理复杂任务。为了验证我们的观点，我们对广泛使用的LLM进行了实证分析。我们发现，FFN层遵循具有神经元功能专业化和功能神经元分区的模块化模式。最后，我们强调了未来研究的几个开放问题和方向。
🔸总的来说，本文旨在