嘉宾
朱桐 苏大在读博士
主题
LLaMA-MoE:基于参数复用的混合专家模型构建方法探索
内容
1. 混合专家模型(MoE)背景介绍(15min)
2. LLaMA-MoE的专家划分策略(10min)
3. LLaMA-MoE的继续预训练方法(10min)
4. 实验发现及总结(5min)
5. QA讨论环节(20mins)
bilibili地址(见原文链接):
https://www.bilibili.com/video/BV1s64y1K7Wf
备注:昵称-学校/公司-方向/会议(eg.ACL),进入技术/投稿群
id:DLNLPer,记得备注呦