文献阅读：Mixtral of Experts

最新推荐文章于 2024-09-30 06:00:00 发布
最新推荐文章于 2024-09-30 06:00:00 发布
阅读量924 收藏 13
点赞数 23
分类专栏： 文献阅读 文章标签： SMoE MoE Mistral Mistral 7B LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/codename_cys/article/details/136787356
版权

1. 文章简介

这篇文章是今年1月份的时候由Mixtral发布的一篇文章，基本也是在挑战Transformer架构在LLM领域的统治地位，不过不同于RetNet以及Mamba，这篇文章在模型结构上并没有特别夸张的改动，主要是在应用层面进行创新，引入SMoE的机制，使用小模型在效果上逼近了GPT4，算是另辟蹊径向OpenAI发出了挑战吧，感觉对于创业者或者我们这种打工人影响会更大一些。

至于前文说的SMoE方法，全称即为Sparse Mixture of Experts，应该是受到了系综模型的启发，核心思想上还是将多个模型进行整合，然后期待整合后的模型效果优于原始的各个模型。

但是，原始的系统方法往往会引入更大的参数量，而这里则是将多个小模型进行整合，并在infer过程中进行剪枝，从而使得在增加有限开销的前提下效果获得显著提升，追上以GPT4为代表的典型大模型的效果。

下面，我们就来看一下文中对于SMoE的具体实现和对应的实验结果。

2. 方法介绍

首先，关于文中的SMoE的方法，事实上是在前作Mistral 7B进行的一个优化，关于这个工作，我之前也已经写了一篇小文章简单的介绍了一下这个工作（文献阅读：Mistral 7B），这里就不过多的展开赘述了。

而关于SMoE的话，就是在上述Mistral 7B模型的基础上对其进行整合，具体来说的话，就是将基于Transformer架构的Mistral 7B模型的FFN结构换成一个SMoE层。

而一个SMoE层，具体来说，就是将多个Mistral的层的输出经过一个sparse dense layer进行整合输出，也就是通过一个加权合并进行输出，整体结构如下图所示：

在这里插入图片描述

其公式表达如下：

y = ∑ i = 0 N − 1 G ( x ) i ⋅ E i ( x ) y = \sum\limits_{i=0}^{N-1} G(x)_i \cdot E_i(x) y=i=0∑N−1​G(x)i​⋅Ei​(x)

其中， E i ( x ) E_i(x) Ei​(x)是每一个expert的输出结果， G ( x ) i G(x)_i G(x)i​是第 i i i个expert的输出权重，其定义为：

G ( x ) = s o f t m a x ( t o p K ( x ⋅ W g ) ) G(x) = \mathop{softmax}(\mathop{topK}(x \cdot W_g)) G(x)=softmax(topK(x⋅Wg​))

放到具体的模型当中，我们取Top2的结果，并使用SwiGLU作为激活函数，具体公式即为：

y = ∑ i = 0 N − 1 s o f t m a x ( t o p 2 ( x ⋅ W g ) ) i ⋅ S w i G L U ( x ) y = \sum\limits_{i=0}^{N-1} \mathop{softmax}(\mathop{top2}(x \cdot W_g))_i \cdot \mathop{SwiGLU}(x) y=i=0∑N−1​softmax(top2(x⋅Wg​))i​⋅SwiGLU(x)

而SMoE的具体参数设置则如下所示：

在这里插入图片描述

3. 实验考察 & 结果

下面，我们来看一下文中给出的具体实验。

1. 基础实验

首先，我们来看一下文中给出的基础实验考察，即在几个常见的NLP任务下考察SMoE与其他大模型（GPT以及LLama）之间的效果对比：

  1. Commonsense Reasoning (0-shot)
  2. World Knowledge (5-shot)
  3. Reading Comprehension (0-shot)
  4. Math
  5. Code
  6. Popular aggregated results

得到实验结果如下：

  1. VS LLama

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

  2. VS GPT

    在这里插入图片描述

可以看到：

  • 在上述各类任务下，SMoE都达到了不输于LLama 2 70B以及GPT3.5的效果，还是非常不容易的，关键是参数量确实少啊，参数量明显少于其他两个模型的情况下达到不输于他们的效果，这个还是厉害的。

2. 细节特性考察

然后，文章展开看了一下SMoE的具体表现。

1. 多语言下的效果

首先，文中考察了一下多语言下的SMoE的效果如下：

在这里插入图片描述

可以看到，多语言的情况下似乎放大了SMoE的优势，其效果明显优于LLaMA 70B的模型效果。

2. Long Range考察

然后，文中还考察了一下长文本下的SMoE效果，得到结果如下：

在这里插入图片描述

可以看到，SMoE是长程有效的，PPL随着文本的增加持续是能够变好的。

3. Bias分析

最后，文中还考察了一下Bias的问题，即SMoE在有偏见问题下的效果，得到结果如下：

在这里插入图片描述

可以看到，除了在涉及宗教的问题上，SMoE都是全面优于LLama 70B的效果的。

3. 打榜结果

然后，文中将SMoE 8x7B模型进行了instruction finetune，然后去实际打了个榜，得到战绩如下：

在这里插入图片描述

可以看到，其效果仅次于claude和GPT4模型，确实是非常可以了。

4. routing分析

最后的话，文中还考察了一下SMoE的routing问题。

如前所述，SMoE本质上是一个MoE模型，引入了多个expert，然后通过softmax每次只激活2个expert，因此，这里主要就是想考查一下不同的任务下是否激活的expert会有所区分，也就是说，不同的expert是否会专注于不同类型的问题。

文中考察了一下不同层下在各个语料当中不同的expert被激活的比例，得到结果如下：

在这里插入图片描述

在这里插入图片描述

可以看到：

  1. 在多数问题下，expert的分工并没有特别明显，但是在数学问题上，expert的分工还是比较明显的；
  2. 且层数越往上，expert的分工越为明显；

文中还给出了两个具体的生成case来说明了一下expert的分工上并没有太大的差异性。

在这里插入图片描述

可以看到，不同的expert被激活的比例还是比较平均的，并没有看出特别的功能性差异。

4. 结论 & 思考

综上，文中给出了一个SMoE的系综模型，将多个Mistral 7B模型组装到了一起，并通过调整Softmax的TopK的方式，使得在有效参数和效果上取得一个balance，在infer成本不显著增加的情况下获得最优的模型效果。

这个文章之前感觉还是挺火的，各类公众号上均有转发，且由于模型是完全开源的，使用上也非常的友好，不过效果的话暂时我还没试过，后面再看看吧，蹲一波后续发展好了。

Espresso Macchiato
关注
专栏目录
Mixtral 8x7B的原理解读：Mixtral of Experts
人工智能曾小健
07-06 883
原创 NatureAI2024年01月16日 22:29北京。
AIGC 最新相关论文：OpenELM： An Efficient Language Model Family with Open-source Training and Inference Fram
简简单单Onlinezuozuo
05-05 230
AIGC 最新相关论文：OpenELM： An Efficient Language Model Family with Open-source Training and Inference Fram。
论文系列之-Mixtral of Experts
ningyanggege的博客
01-10 1761
1. 提高模型性能：通过使用稀疏混合专家结构，Mixtral在多个基准测试中超越或匹配了现有的大型模型（如Llama 2 70B和GPT-3.5），尤其是在数学、代码生成和多语言理解任务上。2. 控制计算成本：尽管模型拥有47B参数，但在推理过程中每个token仅使用13B活跃参数。这种设计允许在小批量大小下实现更快的推理速度，并在大批量大小下实现更高的吞吐量。3. 减少偏见和提高情感平衡：通过指令微调（Instruct）模型，Mixtral在人类评估基准测试中展示了减少的偏见和更平衡的情感配置文件。
从Mistral 7B到MoE模型Mixtral 8x7B的全面解析：从原理分析到代码解读
热门推荐
结构之法 算法之道
12-23 1万+
23年12月9日，Mistral AI 在 X 平台甩出一条磁力链接，打开一看，发现是接近 87 GB 的种子看上去，Mistral 8x7B的架构此前传闻的GPT-4架构非常相似(很像传闻中GPT-4的同款方案)，但是「缩小版」：8 个专家总数，而不是 16 名(减少一半)每个专家为 7B 参数，而不是 166B(减少 24 倍)42B 总参数（估计）而不是 1.8T(减少 42 倍)与原始 GPT-4 相同的 32K 上下文。
Mixture-of-Experts (MoE)： 条件计算的诞生与崛起【上篇】
weixin_41446370的博客
09-29 836
Decoder-only transformer 架构上图所示为大多数生成式 LLM 使用的标准纯解码器变换器架构；有关该架构的深入概述，请参见此处。在 LLM 中，MoE 对这一架构进行了简单的修改–用 MoE 层取代前馈子层！这个 MoE 层由多个专家组成（即从几个专家 [13] 到数千个专家 [5]），其中每个专家都是自己的前馈子层，具有独立的参数集；具体描述见下文。
Mixture-of-Experts (MoE)： 条件计算的诞生与崛起【下篇】
weixin_41446370的博客
09-30 1319
既然我们已经研究了条件计算的早期工作，那么我们就可以看看 MoE 在变换器架构中的一些应用。如今，基于 MoE 的 LLM 架构（如 Mixtral [13] 或 Grok）已广受欢迎，但 MoE 在语言模型方面的探索还处于几个阶段。在此，我们将探讨如何将 MoE 应用于编码器-解码器转换器架构。这项工作与现代 LLM 应用息息相关，并为在实践中有效使用 MoE 提供了无数经验。这些研究为以后探索基于模拟引擎的生成式 LLM 的工作奠定了基础。
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale
04-21 9357
Datawhale干货作者：张帆，陈安东，Datawhale成员引言在AI领域，大模型的发展正以前所未有的速度推进技术的边界。北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-2和Code-Llama之后的第三代模型，Llama-3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型。纵观Llama系列模型，从版本1到3，展示了大规模预训练...
大模型系列之解读MoE
我相信......
05-05 1390
Mixtral 8x7B 的推出， 使我们开始更多地关注 基于MoE 的大模型架构， 那么，什么是MoE呢？1. MoE溯源MoE的概念起源于 1991 年的论文 Adaptive Mixture of Local Experts（https://www.cs.toronto.edu/~hinton/absps/jjnh91.pdf）。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统并建...
Mistral AI vs. Meta：两大 Top 开源模型的对比
Baihai_IDP的博客
03-20 819
随着大模型的不断升级和参数量的持续扩大，越来越多人开始重视大模型存在的硬件资源要求高、碳排放量较大等问题。如何在保持模型性能的同时，降低计算成本和资源消耗，成为了业界一个迫切需要解决的问题。 我们今天为大家带来的这篇文章，作者认为 Mistral AI 提出的一系列创新技术方案为解决这一问题提供了新思路。
mixture-of-experts:Noam Shazeer等人的“稀疏门控专家混合物层”的PyTorch重新实现。 https
05-04
model = MoE ( input_size = 1000 , num_classes = 20 , num_experts = 10 , hidden_size = 66 , k = 4 , noisy_gating = True ) # forward y_hat , aux_loss = model ( X ) 要求 此示例在CPU上使用Torch v1.0.0和...
mixture-of-experts:混合Keras专家层
04-30
n_experts ：专家人数（ ） expert_activation ：专家模型的激活功能（ ） gating_activation ：门控模型的激活函数（ ） 请参阅DenseMoE.py以获取其他参数。 卷积专家层 文件ConvolutionalMoE.py包含实现专家...
Kernel-Based Mixture of Experts Models For Linear Regression:Kernel-Based Mixture of Experts Models For Linear Regression-matlab开发
05-30
此代码为线性回归实现了一种新颖的基于内核的专家混合模型。... 该作品已被接受出版，请参阅“阅读我”了解更多信息。 我还使用了一个函数来生成一些玩具数据。 只需运行 main 看看它是如何工作的。
最强开源模型 Mixtral-8x7B-Instruct-v0.1 详细介绍：稀疏 Mixtral of experts
AI天才研究院
02-02 1222
同样，在推理过程中，假设每个令牌仅使用两名专家，推理速度 (FLOP) 就像使用 12B 模型（而不是 14B 模型），因为它计算 2x7B 矩阵乘法，但共享一些层。然后，输入的信息将以最高的概率发送给专家，确保最合适的专家处理手头的任务。C) 另请注意，虽然有推理服务，但实现了 FP8 实现，每个令牌运行 3 个专家（而不是默认的 2 个）——但激活更多专家是有害的，因为该模型经过训练只需要处理 3 个专家的贡献2个顶级的。它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。
MoE-LLaVA: Mixture of Experts for Large Vision-Language Models
c_cpp_csharp的专栏
02-06 579
对于大型视觉语言模型（LVLM），缩放模型可以有效地提高性能。然而，扩展模型参数显著增加了训练和推理成本，因为计算中的每个token都激活了所有模型参数。在这项工作中，我们提出了一种新的LVLMs训练策略MoEtuning，它可以构建一个参数数量惊人但计算成本不变的稀疏模型，并有效地解决了通常与多模态学习和模型稀疏性相关的性能下降问题。此外，我们提出了MoE LLaVA框架，这是一种基于MoE的稀疏LVLM架构。该框架在部署过程中通过路由器唯一地只激活前k名专家，使其余专家处于非活动状态。
山东建筑大学在辽宁2020-2024各专业最低录取分数及位次表.pdf
10-05
那些年，与你同分同位次的同学都去了哪里？全国各大学在辽宁2020-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
MATLAB中实现基于遗传算法（GA）优化的门控循环单元（GRU）进行数据多输入单输出回归预测（包含详细的完整的程序和数据）
最新发布
10-05
内容概要在本文档中详细介绍了在MATLAB环境中运用遗传算法（GA）对门控循环单元（GRU）网络模型进行优化，并实现多输入单一输出的数据回归预测的技术过程，涵盖数据生成、模型建立与配置、遗传算法优化以及最终的训练和效果测试。 适合人群本总结适用于从事深度学习特别是涉及序列数据研究的专业人士，如机器学习工程师、科研工作者或希望深化自己神经网络建模技能的学习者。 使用场景及目标包括但不限于：解决实际应用中遇到的时间序列预测问题、提升对于RNN家族中高级组件的理解水平以及掌握复杂任务下模型调参的具体手法，尤其着重于增强回归问题的精度表现。 附加说明随文提供的范例代码全面细致，使得初学者能顺利跟随教程建立起自身项目，在实践中探索遗传搜索法的优势所在。
基于Vue框架的毕业生离校管理系统设计源码
10-05
本项目为基于Vue框架开发的毕业生离校管理系统设计源码，包含322个文件，涵盖147个Vue组件、95个JavaScript脚本、46个SVG图形、9个SCSS样式表、3个Handlebars模板、2个YAML配置、2个Markdown文件、2个JSON数据、2个PNG图片和2个CSS样式文件。系统采用Vue、JavaScript、CSS和HTML等多种编程语言和技术构建，旨在实现毕业生的离校管理功能。
基于Python语言的实训内容设计源码
10-05
本项目是一款以Python为主开发语言的实训内容设计源码，共包含33个文件，涵盖21个Python源代码文件、5个编译后文件、3个图片文件、3个文本文件、1个JSON文件。这些文件共同构成了一个结构完整的实训项目，旨在为学生提供实际操作的学习平台。
mixture of experts
03-16
混合专家模型（Mixture of Experts）是一种机器学习模型，它由多个专家模型组成，每个专家模型对应不同的输入空间。混合专家模型通过对输入进行分类，将输入分配给不同的专家模型进行处理，最终将各个专家模型的输出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值