[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

已于 2023-12-15 15:24:39 修改
阅读量530 收藏
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
于 2023-12-14 16:22:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/134998500
版权

SparseMOE: 稀疏激活的MOE

        Swtich MOE，所有token要在K个专家网络中，选择一个专家网络。

        显存增加。

        

 

Experts Choice：路由MOE：​​​​​​​

        由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。

        由于FFN层的时间复杂度和attention层不同，FFN层的时间复杂度在O(N*d)，N是输入长度，d是隐层纬度。attention层的时间复杂度在O(N^2*d)。

        所以这样操作没能减小计算量。参数量也是多了几个Expert的参数量。

        论文里的效果比SparseMOE更好。显存增加。

Tokens Choice：路由MOE：​​​​​​​

         由token选择专家。每个token只能进到一个专家里。没有t

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【ChatGPT】混合专家模型（Mixture of Experts, MoE）：提高神经网络泛化能力和性能的利器
禅与计算机程序设计艺术
07-16 5425
MoE模型是一种用于解决大规模数据集上的复杂任务的神经网络模型。它可以自适应地组合多个专家网络来处理不同的数据子集，从而提高模型的泛化能力和性能。MoE模型的基本结构由门控网络和专家网络组成，其中门控网络用于选择哪个专家网络处理输入数据，而每个专家网络负责处理相应的数据子集。MoE模型的训练可以通过最大化似然函数来实现，通过交替优化门控网络和专家网络来实现。在实现MoE模型时，可以使用PyTorch等深度学习框架来简化代码实现。
稀疏大模型简述：从MoE、Sparse Attention到GLaM
热门推荐
夕小瑶科技说
03-22 1万+
文 | 唐工源 | 知乎Sparsity, ..., is another important algorithmic advance that can greatly improve efficiency. 稀疏性，是（神经架构搜索）之外另一个重要的算法进步，可以大大提高效率。The use of sparsity in models is ... very high...
MOE原理解释及从零实现一个MOE（专家混合模型）
weixin_43013480的博客
06-05 2397
一个MOE主要由两个关键点一是将传统Transformer中的FFN（前馈网络层）替换为多个稀疏的专家层（Sparse MoE layers）。每个专家本身是一个独立的神经网络，实际应用中，这些专家通常是前馈网络 (FFN)，但也可以是更复杂的网络结构。二是门控网络或路由：此部分用来决定输入的token分发给哪一个专家。可能有对FFN（前馈网络层）不太熟悉的小伙伴可以看一下下面的代码及图例，很简单就是一个我们平时常见的结构。
Vision MLP 之 Sparse-MLP A Fully-MLP Architecture with Conditional Computation
画心
10-14 499
Vision MLP 之 Sparse-MLP A Fully-MLP Architecture with Conditional Computation 原始文档：https://www.yuque.com/lart/papers/pfvpvo 从摘要读文章 Mixture-of-Experts (MoE) with sparse conditional computation has been proved an effective architecture for scaling attention
GPT-4的前世、今生和未来！
CV_Autobot的博客
03-28 735
作者|王思若 编辑| 夕小瑶的卖萌屋点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取前言诚然，从关系数据库到互联网信息检索，每一次知识表示和调用方式的跃迁都会在科技史引起一场巨大的技术变革。当ChatGPT发布之后，生成式AI成了新的技术范式，这场变革从微软、Google、百度这一众搜索引擎开始，星火燎原，越来越多的工作将会发生不可逆转的改变，有研究声称至少80%的工作都...
Developing Apps with GPT-4 and ChatGPT-使用GPT-4和ChatGPT开发应用程序-by
06-08
GPT-4 and ChatGPT Essent?als Chapter 2. Taking a Deep Dive into the GPT-4 and ChatGPT APIs Chapter 3. Advanced Techniques to Unlock the Full Potential of GPT-4 and ChatGPT …… …………
ChatGPT4和GPT4技术报告详细干货！.zip
04-22
ChatGPT4与GPT4是OpenAI公司推出的最新一代自然语言处理模型，它们在人工智能领域引发了广泛的关注和讨论。这两个模型在前代GPT-3的基础上进行了显著的升级，旨在提供更为智能、准确和人性化的对话体验。下面将详细...
ChatGPT和GPT-4的逻辑推理如何？
04-26
我们进一步构建了一个逻辑推理的分布外数据集，以调研ChatGPT和GPT-4的鲁棒性。我们还对ChatGPT和GPT-4的性能进行了比较。实验结果表明，在大多数逻辑推理基准测试中，ChatGPT的表现明显优于RoBERTa微调方法。在我们...
GPT-4 重磅发布，吊打 ChatGPT！
04-09
GPT4 出来后，可以看到，在聊天之外，人工智能的能力已不断扩展其外延。 ChatGPT 用的语言模型是 GPT-3.5。在谈到 GPT-4 比前一个版本强大在哪里时，OpenAI 称，虽然这两个版本在随意的谈话中看起来很相似，但“当...
GPT4和chatgpt的区别
03-30
GPT4和chatgpt的区别 GPT-4 是一个自然语言处理模型，它是由 OpenAI 开发的下一代 GPT 系列模型，旨在进一步提高自然语言处理的能力和质量。 我(ChatGPT)则是一个大型语言模型，是由 OpenAI 开发的一种人工智能技术...
【论文阅读】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
kanon的博客
07-19 646
Mamba模型基于Transformer架构，旨在解决传统Transformer在长序列上的计算效率问题。通过引入选择性状态空间SSMs（Selective State Spaces），Mamba能够在保持线性时间复杂度的同时，实现与Transformer相媲美的性能。首先，简单地让SSM参数成为输入的函数，解决了它们在离散模态方面的弱点，允许模型根据当前令牌选择性地沿序列长度维度传播或忘记信息。其次，尽管这一变化阻碍了高效卷积的使用，但在循环模式下设计了一种硬件感知的并行算法。
【论文阅读】MCTformer+:弱监督语义分割的多类令牌转换器
川川自溢的博客
07-16 909
【论文阅读】MCTformer+:弱监督语义分割的多类令牌转换器
[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
心宝的博客
07-19 819
开SP之后，72B能开到16K，7B能开到32K。但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。相对于原repo加了一些代码适配性的问题。
VAE论文阅读
HGGshiwo的博客
07-17 1050
其实有了概率密度，可以直接在里面采样。这里是推导过程，大家都这么写。在实际操作的时候，所有的p都会变成一个已知的分布，否则无法计算的。pθx一些公式p_\theta(x) = 一些公式pθ​x一些公式这些公式计算后发现是一个高斯分布NμσNμσxμσεxμσε其中ϵ\epsilonϵ是随机采样的噪声。所以说，两种形式必须都能看懂才行。
【论文阅读】（StemGNN）多元时间序列预测的谱时间图神经网络
kanon的博客
07-17 1016
论文提出了一种新型的深度学习模型StemGNN，用于提高多变量时间序列预测的准确性。论文将多变量时间序列预测问题定义为基于多变量时间图（multivariate temporal graph）的数据结构。StemGNN在频谱域中同时捕获时间序列内部和序列间的相关性。模型结合了图傅里叶变换（GFT）和离散傅里叶变换（DFT），并在端到端框架中使用卷积和序列学习模块进行有效预测。实验在十个真实世界的数据集上进行，证明了StemGNN的有效性。
【论文阅读笔记】Hierarchical Neural Coding for Controllable CAD Model Generation
最新发布
pursuit的博客
07-19 859
作者提出了一种CAD的创新生成模型，该模型将CAD模型的高级设计概念表示为从全局部件排列到局部曲线几何的三层神经代码的层级树，并且通过指定目标设计的代码树来控制CAD模型的生成或完成。具体而言，一种带有“掩码跳过连接”的向量量化变分自编码器(VAE)的新变体在三个层次上提取设计变化作为神经码本。两阶段的级联自回归Transformer学习从不完整的CAD模型生成代码树，然后根据预期设计完成CAD模型。广泛的实验表明，在无条件生成等传统任务上表现出优越性能，同时在条件生成任务中实现了新颖的交互能力。
【多模态学习笔记二】MINIGPT-4论文阅读
Jeremy_lf的博客
07-16 847
提出的。我们的工作首次揭示，将视觉特征与先进的大型语言模型正确对齐可以具有GPT-4所展示的许多先进的多模态能力，例如从手绘草稿生成详细的图像描述和创建网站。在我们的实验中，我们发现，（例如重复和片段化）。为了解决这个问题，我们在第二阶段使用了一个详细的图像描述数据集来微调模型，从而提高了模型的生成可靠性和整体可用性。MiniGPT-4添加了一个 single projection layer，将编码的视觉特征与Vicuna语言模型对齐，并冻结所有其他视觉和语言组件。
【论文阅读】《Visual Prompt Tuning》
weixin_44001371的博客
07-15 949
目前调整预训练模型的工作方式包括更新所有骨干参数，即。本文介绍了，作为大规模视觉变换器模型全面微调的高效替代方案。VPT 从高效调整大型语言模型的最新进展中汲取灵感，只在输入空间中引入少量（少于模型参数的 1%）可训练参数，同时保持模型主干冻结。通过对各种下游识别任务的广泛实验，我们发现与其他参数高效调整协议相比，VPT 能显著提高性能。最重要的是，在模型容量和训练数据规模方面，VPT 在很多情况下甚至优于完全微调，同时降低了每个任务的存储成本。代码见。
chatgpt与国外gpt4有什么区别
04-04
2. 训练方法：chatgpt和国外的gpt4在训练方法上可能存在一些差异，包括模型结构、超参数等等。 3. 输出表现：由于训练数据集和训练方法的差异，chatgpt和国外的gpt4在输出表现上可能存在一些差异，包括生成的语言...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值