- 博客(8)
- 收藏
- 关注
RSS订阅原创 万卡集群训练任务挂了？别慌，这本秘籍帮你解决！
大规模AI集群运行过程中频繁因为各类硬件、软件故障导致训练任务中断，如何快速发现故障、缩短故障恢复时间MTTR成为提高AI集群可用度的重点方向。本文汇总了昇腾断点续训特性提供的故障检测、故障恢复能力以及面临的问题和挑战。
2026-01-04 15:10:45
934
原创 基于KTransformers在300I DUO单机部署满血版DeepSeek-R1的实践
基于KTransformers在300I DUO单机部署满血版DeepSeek-R1的实践
2025-12-26 17:59:16
1094
原创 超节点FSDP2训练MOE大模型：GroupedMatmul NZ使能和性能收益分析
超节点FSDP2训练MOE大模型：GroupedMatmul NZ使能和性能收益分析
2025-12-26 17:52:31
388
原创 超节点FSDP2训练MoE大模型昇腾联创设计（下）
为了进一步挖掘 XTuner V1 训练方案的上限，实验室研究团队与华为昇腾技术团队在 Ascend A3 超节点上进行联合优化，充分利用超节点硬件特性，FSDP2首次在Qwen 235B MoE上实现了相比传统3D并行更高的 MFU（Model FLOPS Utilization，模型浮点运算利用率）。在理论算力落后 NVIDIA H800 近 20% 的情况下，最终实现训练吞吐超过 H800 近 5%，MFU 反超 20% 以上。
2025-12-24 14:26:48
1016
原创 超节点FSDP2训练MoE大模型昇腾联创设计（上）
2025年9月8日，上海人工智能实验室开源书生大模型新一代训练引擎XTuner V1。XTuner V1 是伴随上海AI实验室“通专融合”技术路线的持续演进，以及书生大模型研发实践而成长起来的新一代训练引擎。相较于传统的 3D 并行训练引擎，XTuner V1 不仅能应对更加复杂的训练场景，还具备更快的训练速度，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。
2025-12-24 14:26:23
1209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人