被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署

被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署

机器之心 2024-01-20 11:14 北京

选自 HuggingFace 博客

编译：赵阳

本文将介绍 MoE 的构建模块、训练方法以及在使用它们进行推理时需要考虑的权衡因素。

专家混合 (MoE) 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。

早些时候，有人爆料 GPT-4 是采用了由 8 个专家模型组成的集成系统。近日，Mistral AI 发布的 Mixtral 8x7B 同样采用这种架构，实现了非常不错的性能（传送门：