- 博客(3)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（21）--- MoE
门控网络（Gating Network）的设计和实现是Sparsely-Gated MoE 层的核心组成部分。门控网络负责为每个输入 token 选择一个稀疏的专家组合，这些专家将参与到当前的计算中。门控函数是一个可以执行一系列非线性变换的网络，该网络对概率分布进行建模，根据概率去做出相应的选择。门控网络由学习到的参数组成，并且与网络的其余部分同时进行预训练。一个典型的门控网络就是一个带有 softmax 函数的简单网络。
2025-05-22 16:37:07
46
转载 python保存json格式文件
python相关学习资料：https://edu.51cto.com/video/1158.htmlhttps://edu.51cto.com/video/4102.htmlhttps://edu.51cto.com/video/4645.html如何用Python保存JSON格式文件作为一名刚入行的开发者，你可能...
2024-07-20 03:54:32
625
原创 【读书笔记】计算广告（第1部分）
作者：LogM本文原载于 https://segmentfault.com/u/logm/articles，不允许转载~本文是 计算广告(第二版) 的读书笔记。该部分介绍一些基本知识。第1章 在线广告综述1.1 免费模式与互联网核心资产免费模式：以边际成本出售能够规模化、个性化传播信息的商品。软件的边际成本几乎为0，硬件的边际成本是其量产成本(毛利几乎为0)；矿泉水...
2024-02-21 17:53:00
1016
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人