LLaMA-MoE：基于参数复用的混合专家模型构建方法探索

自Mixtral以来，大家对混合专家模型（Mixture-of-Experts，MoE）的关注越来越高。然而从零训练MoE模型的成本极大，需要耗费海量的计算资源。为此，我们探索了一种基于参数复用的MoE快速构建方法。

该方法首先将LLaMA2模型进行“大化小式”的专家划分，再通过继续预训练恢复模型的语言能力。在此基础上，我们尝试了各类专家构建方案和继续预训练策略，并得到了一系列的小型化LLaMA-MoE模型。

实验结果表明，LLaMA-MoE对比相似激活量的稠密模型具有一定的性能优势，为后续基于MoE的研究提供了良好的轻量化基座。相关模型权重、专家构建和预训练代码均已开源^[1]，欢迎大家的试用~

主持人

华文越
罗格斯大学在读博士，新布朗斯维克分校
https://wenyueh.github.io

分享嘉宾

朱桐

苏州大学博士生，目前在上海人工智能实验室实习，主要研究方向为各类信息抽取任务和混合专家模型（MoE）。在EMNLP、COLING、IJCAI等会议中发表论文多篇，并在CCKS、百度千言等学术评测任务中多次取得奖项。
主页：https://spico197.github.io

内容

LLaMA-MoE：基于参数复用的混合专家模型构建方法探索

1. 混合专家模型（MoE）背景介绍（15min）

2. LLaMA-MoE的专家划分策略（10min）

3. LLaMA-MoE的继续预训练方法（10min）

4. 实验发现及总结（5min）

5. QA讨论环节（20mins）

预约

时间

2024.1.6 10:30-11:30
本周六上午不见不散~

视频号和b站都可预约~

b站

进群

为了方便讨论，建立了一个交流群，分享嘉宾也在里面，可以面对面探讨更多细节~

参考资料

[1]

llama-moe: https://github.com/pjlab-sys4nlp/llama-moe

---

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

id：DLNLPer，记得备注呦