混合专家模型MoE的全面指南（三）混合专家模型MoE在视觉模型中的应用

五、混合专家模型MoE在视觉模型中的应用

混合专家模型（MoE）这种技术不仅在语言模型里有用，在视觉模型里也能大显身手。比如 ViT（Vision-Transformer）这种模型，它用的是 Transformer 的架构，所以完全可以把 MoE 用起来。

简单来说，ViT 这个模型是把图像切成很多小块，这些小块就像是语言模型里的词元一样被处理。具体来说，比如一张 224x224 像素的图像，可以切成 16x16 像素的小块，这样就能得到 196 个小块。每个小块再被转换成一维向量，这样就能用 Transformer 来处理了。

这种方法的好处是，可以利用 Transformer 在处理序列数据上的强大能力，来处理图像这种二维数据。这样，视觉模型也能像语言模型一样，通过 MoE 来提高效率和可扩展性。

在 Vision Transformer（ViT）模型中，我们先把图像切成很多小块，这些小块就像是语言模型里的词元一样。然后，我们把这些小块转换成嵌入向量，这个过程有点像给每个小块加上一个标签，帮助模型更好地理解它们。

这个转换过程包括两个步骤：

线性变换： 每个小块被展平成一维向量，然后通过一个线性变换（全连接层）映射到一个固定的维度 D，形成每个小块的嵌入向量。这个嵌入向量的维度就是 Transformer 的输入维度。

位置嵌入： 为了帮助模型理解每个小块在图像中的位置，我们还会加上位置嵌入。位置嵌入是一个额外的向量，它包含了每个小块的位置信息。这样，模型不仅知道每个小块的内容，还知道它们在图像中的位置。

最后，这些带有位置嵌入的嵌入向量被输入到常规的 Transformer 编码器中，编码器会通过自注意力机制来处理这些向量，提取图像的全局特征。这个过程有点像语言模型处理词元序列一样，只不过这里是处理图像的小块序列。

当这些小块（也就是图像被切成的小方块）进入编码器的时候，它们的处理方式和语言模型里的词元一样。这就意味着，每个小块都会被当作一个独立的单元来处理，就像处理句子中的每个词一样。这种处理方式让 Vision Transformer（ViT）这种架构非常适合用混合专家（MoE）模型来优化。因为 MoE 模型本来就是设计来处理这种“分而治之”的任务的，每个专家可以专注于处理一部分数据，这样既能提高效率，又能保持高性能。

Vision-MoE

Vision-MoE（V-MoE）是图像模型中第一个实现 MoE 的例子之一。它把 ViT 中的密集前馈神经网络（FFNN）层换成了稀疏 MoE。这样，ViT 模型（通常比语言模型小）就能通过增加专家数量来大规模扩展。

因为图像通常包含很多小块，为了减少硬件限制，每个专家使用了一个较小的预定义专家容量。但是，较低的容量会导致一些小块被丢弃，就像令牌溢出一样。

为了应对这个问题，网络会为小块分配重要性分数，并优先处理这些小块，这样溢出的小块通常就不那么重要了。这个方法叫做批量优先级路由（Batch Priority Routing）。

所以，即使处理的小块数量减少了，重要的小块仍然会被路由。

优先级路由允许模型通过专注于最重要的小块来减少处理的小块数量。这样，模型在保持高性能的同时，还能减少计算资源的消耗。

六、活跃与稀疏参数：以 Mixtral 8x7B 为例

MoE（混合专家）模型的一个关键优势在于它的计算效率。

以 Mixtral 8x7B 为例，这个模型虽然总参数量很大，但在实际运行时，每次只激活一部分专家。这意味着，虽然模型有 47B 参数，但实际计算量相当于 12B 参数的密集模型。这种设计让模型在保持高性能的同时，大大减少了计算资源的消耗。

具体来说，MoE 模型在训练和推理时有以下优势：

训练速度更快： 与相同参数规模的密集模型相比，MoE 可以用更少的计算资源和时间完成预训练。例如，Google 的 Switch Transformer 模型大小是 T5-XXL 的 15 倍，但在相同计算资源下，Switch Transformer 模型在达到固定困惑度 PPL 时，比 T5-XXL 模型快 4 倍。

推理速度快： 虽然模型总参数量大，但推理时只激活部分专家网络。对于同等参数规模的密集模型，MoE 推理速度更快。例如，Mixtral 8x7B 虽然有 47B 参数，但推理时计算量相当于 12B 参数的密集模型。

扩展性强： MoE 允许模型在保持计算成本不变的情况下增加参数数量，这使得它能够扩展到非常大的模型规模，如万亿参数模型。

多任务学习能力： MoE 在多任务学习中表现出色，能够同时处理多种不同的任务，每个专家可以专注于特定的任务或数据类型。

换句话说，我们仍然需要将整个模型（包括所有专家）加载到你的设备上（稀疏参数），但在运行推理时，我们只需要使用其中的一部分（活跃参数）。MoE 模型需要更多的显存来加载所有专家，但在推理时运行得更快。

Mixtral 8x7B 就是这样一个模型，它有很多参数（稀疏参数），但实际推理时只用到其中的一部分（活跃参数）。

具体来说，Mixtral 8x7B 模型有 8 个专家，每个专家有 5.6B 参数。虽然模型总参数量是 46.7B（8 个专家的参数加上共享参数），但在推理时，每个输入只用到 2 个专家，所以实际激活的参数量是 12.8B。这意味着，虽然加载整个模型需要很多显存，但实际运行时效率很高。

这种设计让 Mixtral 8x7B 在处理大规模数据时非常高效，既能保持高性能，又减少了计算资源的消耗。这就是为什么 MoE 模型在大型语言模型和视觉模型中越来越受欢迎的原因。

文章参考：https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts

---

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】