论文略读 ST-MoE: Designing Stableand Transferable Sparse Expert Models

已于 2025-02-12 22:34:08 修改
阅读量479 收藏 8
点赞数 4
分类专栏： 论文笔记 文章标签： 人工智能 机器学习 深度学习
于 2025-02-12 14:52:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/145590359
版权

(ST-MOE是针对encoder-decoder结构的，对于LLM时代的decoder only，这些实验的结论是否依旧生效，这是一个问题【不一定对】）

1  背景

1.1 稀疏模型的训练稳定性

  • 稀疏模型通常会受到训练不稳定性的影响，比稠密模型稳定性差

1.2 Transformer结构的改进 对于 稳定性的影响

1.2.1 GELU和RMSNorm

LayerNorm换RMSNorm

  •   "Fraction Stable" 表示在实验中成功稳定运行的比例
    • 去掉 GEGLU 层，或者是 RMSNorm都会提升训练的稳定性，但是会很大程度地影响模型的质量

1.2.2 输入抖动 & Dropout

最低0.47元/天 解锁文章
ST-MOE: DESIGNING STABLE AND TRANSFERABLESPARSE EXPERT MODELS——设计稳定且可迁移的稀疏专家模型
Together_CZ的博客
01-04 1463
ST-MOE: DESIGNING STABLE AND TRANSFERABLESPARSE EXPERT MODELS——设计稳定且可迁移的稀疏专家模型
ST-MoE
whaosoft143ai的博客
03-03 586
为了对抗过度拟合，作者尝试在微调期间仅更新模型参数的子集，分别尝试了这么几种：更新所有参数，只更新非 MoE 参数，只更新 MoE 参数，只更新 Self-Attention 参数和 Encoder-Decoder 的 Attention 参数，只更新非 MoE 的 FFN 参数。实验结果如下图5所示，只更新 MoE 参数的效果是最差的，其他的效果都差不多。但是，ST-MoE-32B 的模型还是有一些缺点的，比如在小一点的数据集 SQuAD 上面的性能是 90.8，并未超过之前的 91.3。whao
LLMs：大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用
GitHub质检员
12-11 1383
LLMs：大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用和限制(Encoder-only、Encoder-Decoder、Decoder-only)
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 2108
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1000
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2661
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
人工智能(AI)对网络管理的影响
ITmoster的博客
04-25 1322
AI正从工具演变为网络管理的“核心大脑”，其价值不仅在于效率提升，更在于为复杂问题提供系统性解决方案。
花费7元训练自己的GPT 2模型
04-28 858
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
tokenizer的用法
大多_C的博客
04-25 778
可以基于现有 tokenizer 进行修改，如添加自定义的 token（tokenizer.add_tokens([“新词”])），从而扩展词汇表，此时可调用 tokenizer.resize_token_embeddings(model) 更新模型嵌入层。]}，有时还会包含其他信息比如 “token_type_ids”、“offset_mapping”（用于对齐）等。• return_tensors: 指定返回类型，如 “pt”（PyTorch tensor）、“tf” 或 “np”（NumPy 数组）
GroundVLP论文精读
记录知识，分享知识
04-27 680
视觉定位是一项关键的视觉-语言任务，要求模型根据查询捕捉视觉上下文中的对象及其空间和属性信息。然而，由于视觉接地任务的标注数据受限于耗时且劳动密集的标注过程，导致训练模型的泛化能力受限，难以应对更广泛的领域。为解决这一挑战，我们提出了 GroundVLP，一种简单但有效的零样本方法，利用从图像-文本对和纯对象检测数据中获取的视觉接地能力，这两者相比视觉接地标注数据更易获取且覆盖更广的领域。GroundVLP 提出了一种融合机制，结合 GradCAM 的热图和开放词汇检测器的对象提议。
AI 工程师崛起：科技浪潮下的新兴力量
2401_86652632的博客
04-25 1071
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
LabVIEW圆锥滚子视觉检测系统
bjcyck的博客
04-24 630
软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。
RoPE 相对位置编码 VS 传统位置编码
最新发布
ningyanggege的博客
04-29 659
我们先来想象一个场景：“我 爱 吃 苹果”你知道“我”是主语，“爱”是动词，“苹果”是宾语。为什么你能明白这些词之间的关系？因为你知道它们的顺序和位置！但对计算机来说，一开始它只知道这些词是哪些，并不知道它们在第几个位置这时候，我们就需要给每个词加上一个“位置说明书”——这就是位置编码！
AI Agent: MCP和AI Agent的联系
u011732210的博客
04-26 1009
MCP 协议重新定义了 AI 与物理世界的交互方式，通过标准化接口、双向通信和上下文感知能力，使 AI Agent 从 “孤立的智能体” 进化为 “可协作的生态节点”。随着 MCP 生态的成熟，AI 应用将实现 “一句话连接万物” 的愿景，推动智能体互联网（AgentNet）的诞生。开发者可通过 MCP 协议快速构建跨平台、跨领域的智能应用，而企业则能利用 MCP 实现流程自动化、数据资产化和决策智能化的深度转型。
嵌入式多功能浏览器系统设计详解
huayidw的博客
04-28 463
在学习了伟东山的完整嵌入式相机流程之后，将文本阅读器和人脸识别内容添加进去。这是完成后的整体框架，代码会开源在gitee。
特征工程四-2：使用GridSearchCV 进行超参数网格搜索（Hyperparameter Tuning）的用途
qq_37713191的博客
04-29 261
多数情况下，超参数的选择是无限的，因此在有限的时间内，除了可以验证人工预设的几种超参数组合外，也可以通过启发式的搜索方法对组合进行调优，这种超参数搜素的方法称为 网格搜索。
用Python做有趣的AI项目4：AI 表情识别助手
roc_ever的博客
04-27 291
本项目将使用 计算机视觉 + CNN 模型来识别人脸表情，例如：开心 😊 | 生气 😠 | 悲伤 😢 | 惊讶 😲 | 厌恶 😒 | 害怕 😱 | 中性 😐。
day32 学习笔记
2302_77067662的博客
04-25 988
霍夫变换的基本原本原理及其在OpenCV中的应用方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值