深入了解 GPT-4：了解其专家混合 (MoE) 架构

最新推荐文章于 2025-05-09 13:58:57 发布
最新推荐文章于 2025-05-09 13:58:57 发布
阅读量416 收藏
点赞数 1
分类专栏： ChatGPT 文章标签： chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/135081121
版权
GPT-4 使用专家混合 (MoE) 模型，包含 16 个微调的专家模型，每个模型有约 1110 亿参数，旨在处理复杂任务。专家模型可能包括专门的代码编写、安全检查、Python 专家等，通过门控机制选择最合适的专家来提供更精确的输出。MoE 模型的实现可以在 Keras 中完成，通过组合专家模型和门控网络来确定贡献权重。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构
心宝的博客
12-14 815
SparseMOE: 稀疏激活的MOE DenseMOE: 语义融合的MOE FFN 权重复制初始化+随机噪声+大学习率
揭秘 GPT-4：OpenAI 的架构和工程权衡——GPT-4最新细节曝光：从架构、基础设施、训练数据集、成本、视觉到MoE
AI天才研究院
07-16 3394
GPT-4 架构、基础设施、训练数据集、成本、愿景、MoE揭秘 GPT-4：导致 OpenAI 架构的工程权衡。OpenAI保持GPT-4架构封闭，不是因为对人类的某种存在风险，而是因为他们所构建的内容是可复制的。实际上，我们预计Google、Meta、Anthropic、Inflection、Character、Tencent、ByteDance、Baidu等公司在短期内将拥有与GPT-4一样甚至更强大的模型能力。
Uni-MoE：这是OpenAI发布GPT-4o背后的架构吗？
强化学习曾小健
07-23 954
Uni-MoE是一种新型的多模态大型语言模型，它采用了专家混合（Mixture of Experts, MoE）架构来提升模型的可扩展性和效率。与以往模型相比，Uni-MoE能够处理包括视频、音频、图像和文本在内的多种模态输入，这得益于其独特的架构设计和训练策略。Uni-MoE的研究不仅推动了多模态大型语言模型的边界，也为未来的AI研究提供了宝贵的见解和方法。随着技术的不断进步，我们期待Uni-MoE及其后续模型能够在更广泛的应用场景中展现出其强大的能力。阅读 2264。
GPT-4o（Generative Pre-trained Transformer 4 omni）模型
彬彬侠的博客
03-07 803
GPT-4o是由OpenAI开发的一种先进的多模态大语言模型，于2024年5月13日正式发布。它是GPT-4系列的升级版本，相较于之前的模型（如GPT-4和GPT-3.5），GPT-4o在多模态能力、性能和效率上有了显著提升。本文包含使用Python调用GPT-4o API的示例代码，展示如何通过文本输入和图像输入与模型交互。GPT-4o是OpenAI在多模态AI领域的一次重大突破，其强大的文本和图像处理能力使其在对话、内容生成和推理任务中表现出色。
【GPT4技术揭秘】GPT-4 Architecture,Infrastructure,Training Dataset,Costs,Vision,MoE
weixin_37447415的博客
07-12 2760
在开始之前，作为一个旁观者，我们想指出的是，我们接触过的每一家LLM公司都认为Nvidia的FasterTransformer推理库非常糟糕，而TensorRT甚至更糟由于无法使用Nvidia的模板并对其进行修改，这意味着人们需要从头开始创建自己的解决方案。如果Drafi模型的预测是正确的_-较大的模型也同意--那么就可以用一个批次解码多个token，这就为每个token节省了大量的内存带宽，从而节省了时间。许多人认为内存容量是LLM推理的主要瓶颈，因为模型的大小可以容纳在许多芯片上，但这是不正确的。
GPT-4的前世、今生和未来！
tutujunjun的博客
04-01 388
诚然，从关系数据库到互联网信息检索，每一次知识表示和调用方式的跃迁都会在科技史引起一场巨大的技术变革。当ChatGPT发布之后，生成式AI成了新的技术范式，这场变革从微软、Google、百度这一众搜索引擎开始，星火燎原，越来越多的工作将会发生不可逆转的改变，有研究声称至少80%的工作都将或多或少受其影响[1]。在这场狂欢之中，有声称5000万美金入局的投资者，有李沐等技术大牛离职做大模型创业，声音越来越嘈杂，大有风雨欲来之势。
基于单机最高能效 270 亿参数 GPT 模型的文本生成与理解
Jdjdjjdjdjdje的博客
08-10 203
GPT 模型能较好的处理文本生成领域的各种任务，比如文本补全，自由问答，完形填空，写作文，写摘要，写小说，写诗歌等等。最近火爆全网的人工智能产品 ChatGPT 也是以 GPT 文本生成模型为底座。虽然 GPT 大模型作用在这些应用领域的效果很好，但是训练成本非常高。以 OpenAI 推出的 1750 亿的 GPT-3 为例，在 1024 张 A100GPU 上预估需要 34 天，一万亿参数的 GPT-3 在 3072 张 A100 显卡上也至少需要 84 天；
DeepSeek V3与GPT-4的MoE（混合专家）架构差异
charles666666的博客
04-06 482
两者的核心差异在于技术路线选择：DeepSeek追求“用最小能耗精准点亮目标区域”，GPT-4则用“大规模覆盖保证普适性”，反映国产模型在垂直领域突破与国际巨头在通用性上的权衡。MLA（多头潜在注意力）：将键值（KV）缓存压缩为低秩潜在向量，使长文本推理显存占用减少40%，类似“用压缩包代替原文件存储，节省硬盘空间”。FP8混合精度训练：用更低精度的计算单元（类似“简化版算盘”）完成训练，成本仅为同类模型的1/10。DeepSeek V3: 每次处理输入时，模型像在一间大房子中只打开需要的射灯。
揭秘GPT-4：1.8万亿参数背后的架构与技术挑战
本文适合对自然语言处理有浓厚兴趣的机器学习研究人员、工程师和爱好者，可以帮助他们深入了解GPT-4的构建方式和技术挑战，对比同类产品优劣，探索后续研究改进路径，推动AI社区对于高效计算和多模态融合的关注。...
大模型之MoE
谁怕平生太急
05-17 976
在做完capacity + random routing后，我们最终确认了每个token要发去的top2expert和其对应的权重，通过加权计算的方式，确认Moe-Layer最终的输出结果。: 为每个expert设置capacity（expert buffer），限制它能处理的最大token数量，多出来的token算为溢出，在top2Expert都溢出的情况下，该token会被直接发去下一层attention。推理速度：相当于占用更多的GPU显存，但是因为只使用其中1/4甚至更低的参数，推理时速度更快。
GPT-4o ： OpenAI 在大型语言模型领域的最新进展
xw555666的博客
06-01 983
GPT-4o 是 OpenAI 在大型语言模型领域的最新进展，通过多方面的优化和改进，提供了更高效、更准确和更可靠的自然语言处理能力。这些进展不仅提升了模型的性能和适用性，还在安全性和道德性方面取得了重要突破，确保了模型在实际应用中的可靠性和公正性。
GPT-4的详细信息已经泄露
ooope的博客
07-13 212
（目前GPT-4的API价格大约是$0.03 / 1K tokens） - 新的GPT-4质量下降的阴谋论可能只是因为他们让Oracle模型接受来自推测解码模型的较低概率序列。有多种原因选择更少的专家。它的成本估计是$0.0049 / 1K Tokens，用128个A100推理GPT-4 8k seqlen，$0.0021/ 1K Tokens，用128个H100推理GPT-4 8k seqlen。即使如此，32k seqlen的GPT-4肯定无法在40GB的A100s上运行，8k的最大bsz也受到限制。
ChatGPT 混合专家模型
ChinaLiaoTian的博客
07-13 1975
混合专家模型 专家模型
深度揭秘爆火MoE！GPT-4关键架构，成开源模型逆袭杀手锏
weixin_40920183的博客
12-12 317
来源：新智元【导读】上周末，Mistral甩出的开源MoE大模型，震惊了整个开源社区。MoE究竟是什么？它又是如何提升了大语言模型的性能？Mistral上周末丢出的磁力链接震惊了开源圈子，这个7B×8E的开源MoE大模型性能已经到达了LLaMA2 70B的级别！而根据Jim Fan猜测，如果Mistral内部训练了34B×8E或者甚至100B+×8E级别的模型，那他们的能力很有可能已经无限接近GP...
GPT「高仿」问世：GPT-Neo，最大可达GPT-3大小，已开源 | AI日报
BAAIBeijing的博客
01-19 2057
GPT“高仿”问世：GPT-Neo，最大可达GPT-3大小，已开源近日，有个名叫 EleutherAI的团队（创始成员为：Connor Leahy，Leo Gao和Sid Black），...
【大语言模型ChatGPT4/4o 】“AI大模型+”多技术融合：赋能自然科学暨ChatGPT在地学、GIS、气象、农业、生态与环境领域中的应用
最新发布
2403_89634305的博客
05-09 467
【大语言模型ChatGPT4/4o 】“AI大模型+”多技术融合：赋能自然科学暨ChatGPT在地学、GIS、气象、农业、生态与环境领域中的应用
【大模型ChatGPT+ArcGIS】数据处理、空间分析、可视化及多案例综合应用
2403_89634305的博客
05-09 867
【大模型ChatGPT+ArcGIS】数据处理、空间分析、可视化及多案例综合应用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值