【有啥问啥】大模型中的MoE是什么？

已于 2024-09-04 10:16:42 修改
阅读量2k 收藏 35
点赞数 50
分类专栏： 大模型 文章标签： 人工智能 深度学习 算法 ai
于 2024-07-17 15:25:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mieshizhishou/article/details/140496473
版权

MoE

大模型中的MoE是什么？

MoE（Mixture of Experts）是一种用于提高深度学习模型性能和效率的架构。其核心思想是通过引入多个专家（Experts）模型，每个输入数据只选择和激活其中的一部分专家模型来进行处理，从而减少计算量，提高训练和推理速度。

MoE的底层原理

MoE架构由两个主要部分组成：

  1. 专家（Experts）：一组独立的模型或神经网络，可以是同构或异构的。
  2. 门控网络（Gating Network）：一个选择机制，用来决定哪些专家应该处理输入数据。门控网络根据输入数据生成一组权重，这些权重用于加权组合各个专家的输出。

基本流程如下：

  1. 输入数据通过门控网络，门控网络输出每个专家的权重。
  2. 输入数据分别通过所有专家模型，每个专家生成一个输出。
  3. 专家的输出根据门控网络的权重进行加权求和，得到最终的输出。

公式表示如下：

y = ∑ i = 1 N g i ( x ) ⋅ f i ( x ) y = \sum_{i=1}^{N} g_i(x) \cdot f_i(x) y=i=1∑N​gi​(x)⋅fi​(x)

其中：

  • y y y 是最终输出
  • N N N 是专家数量
  • g i ( x ) g_i(x) gi​(x) 是第 i i i 个专家的权重，由门控网络生成
  • f i ( x ) f_i(x) fi​(x) 是第 i i i 个专家的输出

MoE的实现方法

MoE有多种实现方法，主要可以分为以下几种：

  1. Soft Gating MoE
  2. Hard Gating MoE
  3. Sparse MoE
  4. Hierarchical MoE
1. Soft Gating MoE

在Soft Gating MoE中，所有专家的输出都会被加权并合并。门控网络的输出是一个概率分布，对所有专家的输出进行加权平均。

代码示例：

import torch
import torch.nn as nn
import torch.nn.functional as F

class SoftGatingMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim):
        super(SoftGatingMoE, self).__init__()
        self.num_experts = num_experts
        self.experts = nn.ModuleList([nn.Linear(input_dim, expert_dim) for _ in range(num_experts)])
        self.gating_network = nn.Linear(input_dim, num_experts)
    
    def forward(self, x):
        gate_outputs = F.softmax(self.gating_network(x), dim=1)
        expert_outputs = torch.stack([expert(x) for expert in self.experts], dim=1)
        output = torch.sum(gate_outputs.unsqueeze(2) * expert_outputs, dim=1)
        return output

# 示例
input_data = torch.randn(10, 20)  # 假设输入维度为20
model = SoftGatingMoE(input_dim=20, num_experts=5, expert_dim=30)
output = model(input_data)
2. Hard Gating MoE

在Hard Gating MoE中，每个输入数据只选择一个专家来处理。门控网络的输出是一个one-hot编码，表示被选择的专家。

代码示例：

class HardGatingMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim):
        super(HardGatingMoE, self).__init__()
        self.num_experts = num_experts
        self.experts = nn.ModuleList([nn.Linear(input_dim, expert_dim) for _ in range(num_experts)])
        self.gating_network = nn.Linear(input_dim, num_experts)
    
    def forward(self, x):
        gate_outputs = F.gumbel_softmax(self.gating_network(x), hard=True, dim=1)
        expert_outputs = torch.stack([expert(x) for expert in self.experts], dim=1)
        output = torch.sum(gate_outputs.unsqueeze(2) * expert_outputs, dim=1)
        return output

# 示例
input_data = torch.randn(10, 20)
model = HardGatingMoE(input_dim=20, num_experts=5, expert_dim=30)
output = model(input_data)
3. Sparse MoE

Sparse MoE通过选择少量的专家来处理输入数据，通常使用Top-k选择机制来选择权重最大的k个专家，从而实现稀疏化。

代码示例：

class SparseMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim, k=2):
        super(SparseMoE, self).__init__()
        self.num_experts = num_experts
        self.k = k
        self.experts = nn.ModuleList([nn.Linear(input_dim, expert_dim) for _ in range(num_experts)])
        self.gating_network = nn.Linear(input_dim, num_experts)
    
    def forward(self, x):
        gate_outputs = self.gating_network(x)
        topk_values, topk_indices = torch.topk(gate_outputs, self.k, dim=1)
        gate_outputs = F.softmax(topk_values, dim=1)
        expert_outputs = torch.stack([self.experts[i](x) for i in topk_indices.T], dim=1)
        output = torch.sum(gate_outputs.unsqueeze(2) * expert_outputs, dim=1)
        return output

# 示例
input_data = torch.randn(10, 20)
model = SparseMoE(input_dim=20, num_experts=5, expert_dim=30, k=2)
output = model(input_data)
4. Hierarchical MoE

Hierarchical MoE采用层次化的结构，首先选择一个子集的专家，然后在子集中进一步选择。

代码示例：

class HierarchicalMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim, num_clusters):
        super(HierarchicalMoE, self).__init__()
        self.num_clusters = num_clusters
        self.cluster_gating = nn.Linear(input_dim, num_clusters)
        self.experts_per_cluster = num_experts // num_clusters
        self.expert_gatings = nn.ModuleList([nn.Linear(input_dim, self.experts_per_cluster) for _ in range(num_clusters)])
        self.experts = nn.ModuleList([nn.Linear(input_dim, expert_dim) for _ in range(num_experts)])
    
    def forward(self, x):
        cluster_gate_outputs = F.softmax(self.cluster_gating(x), dim=1)
        cluster_outputs = []
        for i in range(self.num_clusters):
            expert_gate_outputs = F.softmax(self.expert_gatings[i](x), dim=1)
            expert_outputs = torch.stack([self.experts[i * self.experts_per_cluster + j](x) for j in range(self.experts_per_cluster)], dim=1)
            cluster_output = torch.sum(expert_gate_outputs.unsqueeze(2) * expert_outputs, dim=1)
            cluster_outputs.append(cluster_output)
        cluster_outputs = torch.stack(cluster_outputs, dim=1)
        output = torch.sum(cluster_gate_outputs.unsqueeze(2) * cluster_outputs, dim=1)
        return output

# 示例
input_data = torch.randn(10, 20)
model = HierarchicalMoE(input_dim=20, num_experts=8, expert_dim=30, num_clusters=2)
output = model(input_data)

MoE的具体应用场景

MoE模型在实际应用中具有广泛的潜力，特别是在需要处理大规模数据、提高模型效率和性能的场景。以下是一些具体的应用场景：

1. 自然语言处理（NLP）

在NLP领域，MoE模型可以用于提高各种任务的性能，例如机器翻译、文本生成、情感分析等。通过选择适当的专家来处理不同类型的文本数据，MoE模型可以显著提高处理速度和准确性。

示例：

在机器翻译任务中，不同的语言对可能需要不同的专家模型来处理。MoE模型可以根据输入语言的特征选择适当的专家，从而提高翻译质量。

class TranslationMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim):
        super(TranslationMoE, self).__init__()
        self.num_experts = num_experts
        self.experts = nn.ModuleList([nn.Transformer(input_dim, expert_dim) for _ in range(num_experts)])
        self.gating_network = nn.Linear(input_dim, num_experts)
    
    def forward(self, src, tgt):
        gate_outputs = F.softmax(self.gating_network(src), dim=1)
        expert_outputs = torch.stack([expert(src, tgt) for expert in self.experts], dim=1)
        output = torch.sum(gate_outputs.unsqueeze(2) * expert_outputs, dim=1)
        return output

# 示例
src = torch.randn(10, 20, 512)  # 假设输入维度为512
tgt = torch.randn(10, 20, 512)
model = TranslationMoE(input_dim=512, num_experts=5, expert_dim=512)
output = model(src, tgt)
2. 图像处理

在图像处理任务中，MoE模型可以用于图像分类、目标检测、图像生成等任务。通过选择适合处理特定图像特征的专家模型，MoE可以提高图像处理的效率和精度。

示例：

在图像分类任务中，不同类型的图像（例如自然场景、手写数字、人脸等）可能需要不同的专家模型来处理。MoE模型可以根据输入图像的特征选择适当的专家，从而提高分类准确率。

class ImageClassificationMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim, num_classes):
        super(ImageClassificationMoE, self).__init__()
        self.num_experts = num_experts
        self.experts = nn.ModuleList([nn.Conv2d(input_dim, expert_dim, kernel_size=3, padding=1) for _ in range(num_experts)])
        self.gating_network = nn.Linear(input_dim, num_experts)
        self.fc = nn.Linear(expert_dim, num_classes)
    
    def forward(self, x):
        gate_outputs = F.softmax(self.gating_network(x.view(x.size(0), -1)), dim=1)
        expert_outputs = torch.stack([F.relu(expert(x)) for expert in self.experts], dim=1)
        output = torch.sum(gate_outputs.unsqueeze(2).unsqueeze(3) * expert_outputs, dim=1)
        output = F.adaptive_avg_pool2d(output, (1, 1)).view(output.size(0), -1)
        output = self.fc(output)
        return output

# 示例
input_data = torch.randn(10, 3, 32, 32)  # 假设输入维度为3x32x32
model = ImageClassificationMoE(input_dim=3, num_experts=5, expert_dim=64, num_classes=10)
output = model(input_data)
3. 推荐系统

在推荐系统中，MoE模型可以用于个性化推荐。不同用户群体可能对不同类型的内容感兴趣，通过MoE模型可以选择适合特定用户群体的专家模型，从而提高推荐效果。

示例：

在视频推荐系统中，不同的用户可能喜欢不同类型的视频（例如电影、体育、音乐等）。MoE模型可以根据用户的历史行为选择适当的专家，从而推荐最适合的视频内容。

class RecommendationMoE(nn.Module):
    def __init__(self, input_dim, num_experts, expert_dim, num_items):
        super(RecommendationMoE, self).__init__()
        self.num_experts = num_experts
        self.experts = nn.ModuleList([nn.Linear(input_dim, expert_dim) for _ in range(num_experts)])
        self.gating_network = nn.Linear(input_dim, num_experts)
        self.fc = nn.Linear(expert_dim, num_items)
    
    def forward(self, user_features):
        gate_outputs = F.softmax(self.gating_network(user_features), dim=1)
        expert_outputs = torch.stack([F.relu(expert(user_features)) for expert in self.experts], dim=1)
        output = torch.sum(gate_outputs.unsqueeze(2) * expert_outputs, dim=1)
        output = self.fc(output)
        return output

# 示例
user_features = torch.randn(10, 50)  # 假设用户特征维度为50
model = RecommendationMoE(input_dim=50, num_experts=5, expert_dim=128, num_items=1000)
output = model(user_features)

总结

MoE通过将任务分配给多个专家模型并引入门控机制，有效地减少了计算复杂度，提高了模型的效率和性能。不同类型的MoE模型可以根据具体的应用场景进行选择和调整。通过合理设计和使用MoE，能够显著提升深度学习模型的训练和推理效率。

有啥问啥
关注
专栏目录
大语言模型：LLM的概念是个啥？
gongdiwudu的专栏
08-13 7338
大语言模型（维基：LLM-large language model）是以大尺寸为特征的语言模型。它们的规模是由人工智能加速器实现的，人工智能加速器能够处理大量文本数据，这些数据大部分是从互联网上抓取的。 [1]所构建的人工神经网络可以包含数千万到数十亿的权重，并使用自监督学习和半监督学习进行（预）训练。 Transformer 架构有助于加快训练速度。[2]替代架构包括专家混合（MoE），它是由 Google 提出的，从 2017 年的稀疏门控架构开始，[3] 2021 年的 Gshard[4] 到 2
大模型公开可用的模型检查点或 API
weixin_43961909的博客
05-03 1209
    众所周知，大模型预训练是一项对计算资源要求极高的任务。因此，经过预训练的公开模型检查点（Model Checkpoint）对于推动大语言模型技术的渐进式发展起到了至关重要的作用。得益于学术界和工业界的共同努力，目前开源社区已经积累了大量的模型检查点资源，用户可以根据自身研究或开发需求，灵活选择并下载使用这些检查点。此外，对于那些仅需利用模型进行解码生成的用户而言，商业公司提供的闭源模型的 API 接口也是一种便捷的选择。这些接口为用户提供了与模型进行交互的渠道，而无需关心模型内部的复杂结构和训练过程
一步一步理解大模型：混合专家模型（MoE）简介
热门推荐
chattyfish的博客
07-25 3万+
混合专家模型，英文叫Mixture of Experts (MoE) 是一种模型设计策略，它通过将多个模型（称为"专家"）的预测结果结合在一起，以获得更好的预测性能。
大模型系列之解读MoE
我相信......
05-05 1421
Mixtral 8x7B 的推出， 使我们开始更多地关注 基于MoE 的大模型架构， 那么，什么是MoE呢？1. MoE溯源MoE的概念起源于 1991 年的论文 Adaptive Mixture of Local Experts（https://www.cs.toronto.edu/~hinton/absps/jjnh91.pdf）。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统并建...
大模型面经——MoE混合专家模型总结
m0_59164304的博客
09-12 1017
面试总结专栏本篇将介绍MoE（Mixture of Experts，混合专家模型）相关面试题。以下是一个快捷目录：一、MoE介绍二、MoE出现的背景三、有哪些MoE模型四、介绍稀疏 MoE 层五、介绍门控网络或路由六、为什么门控网络要引入噪声呢七、如何均衡专家间的负载八、“专家”指什么九、专家的数量对预训练有何影响？十、什么是topK门控十一、MoE模型的主要特点十二、MoE和稠密模型的对比十三、MoE的优势十四、MoE的挑战十五、微调MoE的方法十六、MoE的并行计算。
AI通用大模型 —— Pathways，MoE, etc.
LJ的博客
06-26 1184
但为了与更多紧迫挑战任务的深度和复杂性相匹配，将需要新的、更强大的人工智能系统 —— 这些系统可以将人工智能的成熟方法与新兴的研究方向结合起来，从而能够解决我们今天无法解决的问题。Pathways将使单个人工智能系统能够在数千或数百万个任务中进行泛化，以理解不同类型的数据，并以惊人的效率做到这一点——将我们从仅仅识别模式的单一用途模型时代推进到一个更通用的智能系统反映对我们世界的更深入理解并能够适应新需求的时代。我们的大脑有许多不同的部分专门负责不同的任务，但我们只在特定的情况下调用相关的部分。
2024最火热的大模型技术方向：MoE，国产MoE大模型大爆发！
u012744245的博客
04-17 1934
根据官方公布的数据， XVERSE-MoE-A4.2B 模型的评测结果与阿里的Qwen1.5-MoE-A2.7B接近，超过了DeepSeek-16B-MoE模型，与Mistral-7B、LLaMA2 34B等在同一个水平。而与另外两个模型不同的是，XVERSE-MoE-A4.2B 固定了2个专家，每次推理的时候必然激活，而剩余的6个专家则是根据推理输入进行路由选择，这样做是为了保证模型在基础通用能力上获得对应的领域性能。Mistral-7B×8-MoE 是一个稀疏的混合专家网络，是一个纯解码器模型。
大模型-moe混合专家模型
最新发布
weixin_44885180的博客
09-18 263
九、专家的数量对预训练有何影响？六、为什么门控网络要引入噪声呢。十二、MoE和稠密模型的对比。十一、MoE模型的主要特点。四、介绍稀疏 MoE 层。七、如何均衡专家间的负载。五、介绍门控网络或路由。十、什么是topK门控。十五、微调MoE的方法。十六、MoE的并行计算。二、MoE出现的背景。三、有哪些MoE模型。
大模型MOE详解
qq_39206732的博客
07-20 404
在有限的计算资源预算下，用更少的训练步数训练更大的模型，往往比耗费更多的步数来训练模型效果更佳。比如，由于大规模推荐系统可能包含数百万甚至数十亿的参数，这些额外的参数往往是欠约束的，这可能会损害模型质量。于是，就有了专家模型（moe）。MoE是一种大型模型架构（图b）。一个MoE模型可以被视为由不同的子模型（或专家）组成，每个子模型专门从事不同的输入，一个可训练的门控网络（gate）决定了这些专家（expert）对每个实例所使用的稀疏组合。具体来说，每一层的专家都由门控网络控制，门控网络根据输入数据。
稀疏大模型简述：从MoE、Sparse Attention到GLaM
夕小瑶科技说
03-22 1万+
文 | 唐工源 | 知乎Sparsity, ..., is another important algorithmic advance that can greatly improve efficiency. 稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。The use of sparsity in models is ... very high...
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 2万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4749
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机多卡-RTX 4090双卡（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 1万+
使用Axolotl高效微调qwen2-7b-instruct
什么是MOE架构
qq_15821487的博客
06-21 2453
此次基于的模型是MoE（Mixture-of-Experts layer），它被称为专家混合模型。也就是在Transformer架构的基础上，加设了“专家层”。稀疏化的方法便是无需让整个模型来处理所有的输入。通过对神经网络进行划分，它让神经网络也“专业对口”，不同的子模型只处理固定类型的任务或数据。它是一个并行的FNN，取代了原本的前馈网络。这里的“专家”，也就是模型内部的不同子模型。每一层中的专家由门控网络控制，该网络根据输入数据激活专家。对于每个标记，门控网络选择最合适的专家来处理数据。
聊一聊 “超 大 模 型”
Kaiyuan_sjtu的博客
07-11 1102
作者|金雪锋来源|知乎最近经常被问，你看“万亿的模型都出来了，你们训练的千亿模型是不是落伍了？”我想说：“虽然都叫超大模型，但是类型是不一样的，虽说每一类模型训出来都不容易，不过...
大模型MoE技术深度解读,引领AI走向新高度
05-16 1382
大模型MoE技术深度解读,引领AI走向新高度
超越CLIP！谷歌发布首个大规模MoE架构的视觉语言模型
夕小瑶科技说
06-14 1256
文 | 明敏（发自凹非寺）源 | 量子位多模态模型常见，但是基于稀疏化的还是头一个。谷歌带来最新成果LIMoE，首次将稀疏化方法用在了图像文本混合模型上。要知道，随着大模型参数呈指数级增加，训练成本也是一路飙升。所以如何降低训练成本，成为了目前学界重点关注的一个问题。谷歌想到的办法，不是拼硬件，而是从模型本身入手。利用稀疏化的方法，让每次输入只需激活部分网络就能完成任务。...
混合专家系统（MoE）
Zoe_Su的博客
11-09 2万+
混合专家系统（Mixture of Experts）原理：混合专家系统（MoE）是一种神经网络，也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型，各个模型被称为专家，而门控模块用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型可采用不同的函数（各种线性或非线性函数）。混合专家系统就是将多个模型
天工2.0 MoE大模型
03-01
天工2.0 MoE大模型是由CSDN开发的一种基于深度学习的自然语言处理模型。MoE是Mixture of Experts的缩写，意为专家混合模型。该模型采用了多个子模型的集成方式，每个子模型都是一个专家，负责处理特定领域或任务的问题。通过将多个专家的输出进行加权融合，MoE模型可以在不同领域或任务上取得更好的性能。 天工2.0 MoE大模型在自然语言处理领域具有广泛的应用，可以用于文本分类、情感分析、机器翻译、问答系统等任务。它通过大规模的训练数据和深度神经网络的结构，能够对复杂的自然语言进行理解和处理。 该模型的优势在于能够处理多样化的语言表达形式和语义，具有较强的泛化能力和适应性。它可以根据输入的问题或任务自动选择合适的专家进行处理，从而提高了模型的整体性能和效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有啥问啥

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值