MoE结构梳理

已于 2024-08-28 22:39:10 修改
阅读量689 收藏 14
点赞数 21
文章标签： 算法 自然语言处理
于 2024-08-28 22:31:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44184816/article/details/141651420
版权

资源0：传统ffn

一张图说清楚：大模型“大”在哪？ChatGLM模型结构详解-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/xian0710830114/article/details/138386170?ops_request_misc=&request_id=&biz_id=102&utm_term=ffn%20mlp&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-5-138386170.142%5Ev100%5Epc_search_result_base6&spm=1018.2226.3001.4187


资源1：Mindspore

第二十课：MoE_哔哩哔哩_bilibiliicon-default.png?t=N7T8https://www.bilibili.com/video/BV1jH4y177DL/?spm_id_from=333.337.search-card.all.click&vd_source=de16465aaf1f2b33a8c4f5b96fad18d7


mixtral的moe结构

资源2：zomi

大模型算法有哪种结构？怎么样才算大模型呢？从Transformer和MOE结构看大模型发展！【分布式算法】系列第02篇_哔哩哔哩_bilibiliicon-default.png?t=N7T8https://www.bilibili.com/video/BV1Mt4y1M7SE/?spm_id_from=333.999.0.0&vd_source=de16465aaf1f2b33a8c4f5b96fad18d7

知乎文章：

Megatron-LM中MOE并行分组策略 - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/696389676

图解大模型训练系列之：DeepSpeed-Megatron MoE并行训练（原理篇） - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/681154742

图解大模型训练系列之：DeepSpeed-Megatron MoE并行训练（原理篇） - 大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发|53AIicon-default.png?t=N7T8https://www.53ai.com/news/qianyanjishu/1642.html

图解大模型训练系列之：DeepSpeed-Megatron MoE并行训练（源码解读篇） - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/681692152

论文解读 

swith-transformer

weixin_44184816
关注
混合专家模型 (MoE) 简述
2301_81940605的博客
03-11 3215
本文主要想梳理一下 MoE 模型相关的概念，并阅读整理部分开源 MoE 模型的论文，简要地描述整体架构等。
MOE系列模型-浅谈
zenRRan的博客
08-14 111
来自：NLP工作站在本文中，梳理了近期 （24年7月前）部分 MOE 大模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mixtral 8x7B，Mixtral 8x22B，DeepSeek-MoE，Qwen1.5-MoE，DeepSeek-V2。原文：https://zhuanlan.zhihu.com/p/712676995混合专家模型的 Transformer 模型对于...
大模型面经：简单透彻理解大模型 MoE
2401_84033492的博客
06-12 966
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。LLM 时代流传着一个法则：Scaling Law，即通过某种维度的指数上升可以带来指标的线性提升。如下图所示，在 Compute、Data、Parameter 三个维度上的指数上升可以带来在 test loss 上的线性下降。
三个视角讲透混合专家大模型（MoE）
2401_84033492的博客
07-28 1087
DeepSpeed-MoE 创新性地引入了残差 MoE（Residual-MoE）架构，其中每个 token 都由一个固定专家外加一个门控选择的专家进行处理，实现了每一层都有两个专家参与处理，同时也不会让通信成本超过 top-1 门控方法。举个例子，Xue et al. 的论文《Go wider instead of deeper》提出了模型宽度增大的 WideNet，其做法是将前向网络（FFN）替换成 MoE 层，同时维持 Transformer 层上的共享可训练参数，但归一化层除外。
学习笔记——Transformer结构的完整介绍
Clichong
07-17 854
文章目录Introduction一、self-attention1.直观展示2.矩阵展示二、Multi-head self-attention三、Positional Encoding四、Transformer1.Encoder2.Decoder3.Cross attention五、Tips for Generation1.Schedualed Sampling2.Beam Search Introduction Bert是无监督学习的transformer，transformer是一个seq2seq的m
Cv算法工程师的LLM日志(4)大模型主流技术及MOE系列——基于Qwen-moe特别篇（4月开更，持续更新）【首发最强解析—以代码串讲LLM主流技术】
啥都会一点的小程的博客
04-09 1086
以QWEN1.5-MOE源码解读为基准，串讲所有LLM开源主流技术和Moe模块，本质上和用什么模型无关，开源模型用到的技术基本都源于LLAMA和MISTRAL系列
从ACL 2024录用论文看混合专家模型（MoE）最新研究进展
Paper weekly
08-14 192
©PaperWeekly 原创 ·作者 |杨远航单位 |哈尔滨工业大学（深圳）研究方向 |自然语言处理最近 ACL 2024 论文放榜，扫了下，SMoE（稀疏混合专家）的论文不算多，这里就仔细梳理一下，包括动机、方法、有趣的发现，方便大家不看论文也能了解的七七八八，剩下只需要感兴趣再看就好。下面是列表，顺序大抵是个人兴趣程度排序。1. DeepSeekMoE: Towards Ultima...
7篇顶会论文带你梳理多任务学习建模方法
fareise的博客
02-19 1676
本文从最基础的多任务学习开始，梳理了近几年来7篇多任务学习顶会相关工作，包括Hard/Soft Parameter Sharing、参数共享+门控、学习参数共享方式等建模方式。
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale
04-21 9089
Datawhale干货作者：张帆，陈安东，Datawhale成员引言在AI领域，大模型的发展正以前所未有的速度推进技术的边界。北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-2和Code-Llama之后的第三代模型，Llama-3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型。纵观Llama系列模型，从版本1到3，展示了大规模预训练...
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4657
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
一文梳理推荐系统中如何应用大模型
u013250861的博客
10-13 226
今天给大家分享下华为诺亚方舟实验室的talk:《推荐系统如何从大语言模型中取长补短：从应用视角出发》，个人感觉很有信息量，我们组内同学也做过交流分享，相关信息也可以从综述找到："How Can Recommender Systems Benefit from Large Language Models: A Survey"，在此分享给大家。，需要通过引入推荐场景的数据，结合微调技术，为语言模型注入协同信号。代表性工作CTRL。研究怎么把推荐模型的信号引入LLM，但是不进行LLM的微调，代表性工作KAR。
大语言模型应用指南：从人工智能的起源到大语言模型
程序员光剑
06-27 864
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
大模型落地实践系列一、公司为什么要做大模型？
程序员光剑
06-19 9545
近年来，随着人工智能技术的飞速发展，大模型在各行各业中被越来越多地应用。尤其是在企业中，大模型被视为提高生产力、优化运营和增加收益的利器，越来越多的公司开始着手部署大模型。本文将探讨在企业中做大模型的原因。
AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.1-大模型发展历程 之 背景与开端）
shiter编写程序的艺术
05-30 711
追寻大模型的“万恶之源”，大抵应该从那篇 Attention is All You Need 开始，基于这篇由谷歌机器翻译团队提出的由多组 Encoder、Decoder 构成的机器翻译模型 Transformer 开始，大模型的发展大致走上了两条路，一条路是舍弃 Decoder 部分，仅仅使用 Encoder 作为编码器的预训练模型，其中最出名的代表就是 Bert 家族。根据经验观察，语言模型的性能随着模型的增大而增加(有时是可预测的，有时是突然的)，这也导致了模型规模越来越多的趋势。
算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列
qq_61936886的博客
09-12 517
如果text1[i - 1] 与 text2[j - 1]不相同，那就看看text1[0, i - 2]与text2[0, j - 1]的最长公共子序列 和 text1[0, i - 1]与text2[0, j - 2]的最长公共子序列，取最大的。但dp[i][0] 和dp[0][j]要初始值，因为 为了方便递归公式dp[i][j] = dp[i - 1][j - 1] + 1;2.递推公式：当A[i - 1] 和B[j - 1]相等的时候，dp[i][j] = dp[i - 1][j - 1] + 1;
算法知识点——常用输入输出数据的方式
5233的博客
09-12 309
除了换行之外，还会清空缓存区，而清空缓存区这件事情会耗时很久，因此为了提高速度，一般直接：cout << “\n”;2、n组输入输出(n不确定）1、n组输入输出(n确定）3、 复杂的输入输出。
输出一个三位数
最新发布
2301_77501988的博客
09-13 420
本题要求编写程序，输入一个三位数，输出其个位数字、十位数字和百位数字。
Java数据结构（十）——冒泡排序、快速排序
xiaokuer_的博客
09-11 1204
文章介绍了冒泡排序和快速排序，快速排序的内容包括：划分方式、优化策略以及非递归实现
CCG MOE 2013.08：量化结构-活性关系（QSAR）应用
"MOE演示ppt" MOE（Molecular Operating Environment）是一款由加拿大化学计算集团（CCG）推出的强大分子模拟和药物设计软件。该软件的2013.08版本是CCG公司新发布的，它提供了一系列先进的应用，包括定量结构活性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值