- 博客(24)
- 收藏
- 关注
RSS订阅原创 CANN ops-math Softmax数值稳定技术 溢出防护与log-sum-exp技巧详解
本文深入解析了CANN项目中Softmax算子的数值稳定性实现。针对传统Softmax在FP16环境下易溢出的问题，重点介绍了max-val归一化和log-sum-exp等核心技巧，通过减去最大值将输入平移至负半轴，确保exp计算安全。文章包含完整代码示例，详细展示了工业级实现的三阶段流程（最大值查找、指数和计算、概率归一化），并针对FP16环境提出了精度提升方案。通过真实案例数据表明，稳定版Softmax以可忽略的性能代价（<3%）换取数值安全，在BERT-large等模型中准确率提升显著。最后分享
2026-02-07 07:08:33
654
原创 ops-nn BatchNorm训练优化 均值方差跨卡同步策略深度剖析
摘要：本文深入探讨分布式训练中BatchNorm同步的关键技术，以ops-nn的bn_training.cpp实现为例，解析HCCL通信库的all_reduce优化策略。通过异步流水线设计、缓冲区复用和拓扑感知路由三大原则，实现计算通信重叠，在ResNet-50训练中达到99.8%的精度对齐，同步开销降低40%。文章包含完整的代码实现、性能对比数据及13年实战经验总结的调优技巧，包括通信死锁排查、梯度爆炸处理等常见问题解决方案，并展示了自动驾驶场景中的企业级应用案例。最后提出动态子图自适应同步的未来发展方向
2026-02-07 07:04:04
569
原创 CANN Runtime初始化源码 从aclInit到设备驱动加载
本文深度解析CANN Runtime初始化全流程，基于ops-nn等核心模块的真实代码，追踪从aclInit调用到设备驱动加载的完整链路。文章涵盖驱动模块动态加载、设备枚举策略、资源池创建等关键技术点，通过源码分析揭示大型AI框架的启动优化艺术。包含完整的初始化流程图、性能优化数据和实战案例，为深入理解Runtime架构提供完整指南。通过深度分析CANN Runtime初始化源码，我们看到了工业级框架启动设计的艺术。优秀初始化系统需要在速度、稳定性和可扩展性之间找到最佳平衡。阶段化设计保证启动可靠性。
2026-02-06 21:10:13
668
原创 图引擎设计哲学 确定性执行原则落地实践
本文深入探讨了CANN图引擎中的确定性执行（Deterministic Execution）原理及其在AIGC应用中的关键作用。通过分析aclrtSynchronizeStream等同步机制，阐述了如何确保相同输入产生相同输出，从而解决AIGC生成结果不一致的问题。文章包含技术原理剖析、性能对比数据、完整代码示例及企业级实践案例，为开发高可靠AI系统提供指导。重点强调了在模型推理关键路径插入同步点的重要性，并给出常见问题解决方案，帮助开发者在保证确定性的同时平衡性能需求。
2026-02-06 21:05:25
648
原创 AcL与Aclnn：昇腾算子调用的双接口设计哲学
本文深度解析华为昇腾AI处理器算子调用的双接口设计：AcL（底层原生接口）与Aclnn（新一代描述性接口）。AcL提供精细控制但开发复杂，适合性能调优；Aclnn简化开发流程，支持自动优化，适合快速迭代。文章通过代码对比（Aclnn代码量减少75%）、性能数据（Aclnn重复执行延迟仅增加25%）和实战案例，展示两种接口的适用场景。同时提供企业级调优技巧（如混合接口策略、资源池化）和故障排查指南，帮助开发者在性能与效率间取得平衡。最后展望接口融合、编译器优化等未来演进方向，为昇腾开发者提供全面参考。
2025-12-17 13:52:23
1113
原创 Ascend C算子与PyTorch生态无缝融合：自定义算子开发实战指南
本文深入探讨了华为CANN架构下AscendC算子与PyTorch生态的融合技术，提出了一套完整的七层软件栈解决方案。通过达芬奇3DCube计算单元、AscendC向量化编程和PyTorchAdapter桥接三大核心技术，实现了90%的CUDA算子迁移成本降低和89%的算子融合覆盖率。文章详细介绍了动态Shape融合、三级测试框架等关键技术，并提供了AddCustom算子融合实例、企业级测试方案和六大诊断工具。开发者可通过本文获得从单元测试到系统集成的完整技术指导，有效提升NPU算子开发效率20%以上。
2025-12-16 23:12:14
802
原创 CANN算子融合深度解密-从图编译到性能跃迁的实战指南
本文深入解析了华为CANN架构中的算子融合技术，包含图融合和UB融合两大核心技术。通过数学等价变换和硬件亲和优化，算子融合能显著提升AI模型性能，实测在ResNet50等模型上可获得2-3倍加速。文章提供了完整的Conv+BN+ReLU融合代码示例、分步实现指南和常见问题解决方案，并分享了企业级应用案例。未来技术将向AI驱动的自动融合和跨平台统一方向发展。CANN算子融合技术通过软硬协同优化，为AI应用提供了端到端的性能提升方案。
2025-12-12 20:15:05
791
原创 面向动态Shape的通用融合算子设计-从理论到昇腾CANN工程实践
📝【摘要】本文系统阐述了昇腾AI处理器中动态Shape融合算子的关键技术，提出基于CANN架构的三维解决方案：1）动态Tiling机制实现运行时自适应分块；2）弹性Workspace内存管理；3）高效运行时参数传递。通过RMSNorm+SwiGLU融合算子的完整实现案例，验证单一二进制可适配B×S×H三维动态输入，实测性能较静态方案提升3.2倍。文章还涵盖企业级推荐系统优化实践（P99延迟降低53%）及动态算子调试方法论，为AI推理中可变输入场景提供工程化实践指南。
2025-12-12 14:43:12
706
原创 从零构建：Ascend C算子工程项目创建与结构全解
本文系统解析AscendC算子工程化开发全流程，涵盖工程创建、架构设计、构建部署等核心环节。首先对比不同工程创建工具，详细说明基于JSON的原型定义方法。重点剖析标准工程的分层架构，包括Host层控制逻辑和Kernel层计算实现，并深入解读CMake构建配置系统。文章还分享企业级开发经验，如多算子管理、依赖控制和CI/CD实践，提供常见问题解决方案。最后探讨自定义模板等高级主题，强调合理的工程结构对长期维护的重要性，为工业级AscendC算子开发提供完整方法论。
2025-12-08 08:45:18
611
原创 Ascend C开发深度避坑指南 - 从核心陷阱解析到高性能算子实战
本文系统剖析了昇腾AscendC算子开发中的核心挑战与优化方案，聚焦内存管理、精度控制、同步机制等关键问题。通过分析达芬奇架构特性，提供了包含5个架构图、可运行代码示例的完整解决方案。实践数据显示，应用文中优化策略可使算子性能提升3-8倍，AICore利用率达85%以上。文章还包含矩阵乘法优化案例、企业级调试方法论及常见问题排查指南，帮助开发者从原理到实践全面掌握高性能算子开发技巧。最后展望了AscendC在自动化优化、跨平台兼容等方面的发展趋势。
2025-12-07 23:53:03
982
原创 深入剖析：Aclnn接口调用流程图解与内存管理机制
本文深入解析了Aclnn接口的两段式内存管理设计及其优化技术。核心内容包括：1）两段式接口设计（资源预计算与执行分离），2）多级内存体系（DDR/HBM/UB/L1）特性分析，3）动态工作空间计算机制，4）完整调用流程实现（含内存池化、异步执行和零拷贝技术）。实测数据显示，优化后的内存管理可提升40%以上性能，显著降低碎片率。文章还提供了企业级内存池实现、调试工具和最佳实践指南，适用于昇腾AI处理器的高性能算子开发。
2025-12-06 20:28:19
994
原创 Ascend C 并行编程模型深潜 - 核函数、流水线与任务间通信全解析
本文深入解析华为昇腾AI处理器的AscendC并行编程模型，重点剖析其核函数架构、流水线并行机制和任务间通信实现。通过Vector/Cube编程范式实战案例，展示如何利用DoubleBuffer和内存优化技术提升硬件算力利用率。文章包含完整的代码示例、性能对比数据及定制化流程图，详细讲解从核函数设计、流水线优化到队列同步等关键技术。实测表明，优化后的流水线设计可使计算单元利用率从35%提升至89%，在BERT等大模型训练中性能提升显著。本文为开发者提供了从基础到进阶的完整技术路径，并展望了AI专用编程模型的
2025-12-06 19:45:04
863
1
原创 Ascend C算子开发实战 - 以AsNumpy的einsum函数为例，从爱因斯坦求和到NPU加速
本文深入探讨了基于AscendC的einsum算子开发全流程，从Einstein记法解析、计算图优化到AscendC核函数设计。通过将einsum从解释执行转变为编译优化，实现了112.11倍的性能提升。文章详细介绍了语法解析器、优化策略选择器、通用核函数框架和矩阵乘法特化实现，并提供了性能对比分析和实战开发指南。关键创新包括：三层设计哲学（解析-优化-实现）、多种计算优化策略选择、双缓冲流水线处理技术，以及针对NPU硬件的内存访问优化。该研究为高性能张量计算提供了可复用的开发框架，展现了声明式编程与硬件加
2025-12-05 22:48:29
1060
原创 Ascend C向量编程实战：MoeGatingTopK的核内计算与数据搬运
本文深入探讨了MoeGatingTopK在AscendC平台上的核内计算优化策略，通过向量化编程、双缓冲技术和内存层次优化等关键技术，实现了5.8倍的性能提升。文章详细解析了AscendC向量编程模型、指令级并行优化、流水线并行架构等核心技术，并提供了完整的代码实现和性能分析框架。在企业级万亿参数模型的实战案例中，优化后的单芯片吞吐量达到82.4K tokens/s，能效比提升至243.8 tokens/J。本文为AI算子开发提供了从基础向量化到高级动态优化的完整解决方案，展现了硬件级优化的极致艺术。
2025-12-05 11:05:06
885
原创 MlaProlog在CANN推理引擎中的集成与执行流程
本文系统解析AscendC算子开发中级认证的核心要点，重点剖析Host-Device协同架构、Tiling分块机制和Kernel编程三大技术难点。通过Sigmoid算子的完整实现案例，详细展示Host侧Tiling结构体设计、Device侧Kernel函数开发及性能优化技巧。文章提供认证全流程指南，包括环境配置、代码实现、编译调试等关键步骤，并针对常见问题给出解决方案。最后分享了企业级开发中的高级优化策略，帮助开发者掌握认证核心技能，获得参与昇腾社区开发任务的资格。
2025-12-03 19:17:05
911
原创 多模态大模型适配实战：以InternVL3的Ascend C迁移为例
本文详细介绍了多模态大模型InternVL3在昇腾AscendC平台的迁移优化全过程。通过分析模型5.1B参数的架构特性，提出了跨模态注意力机制优化、EmbeddingDenseGrad算子深度优化等关键技术方案。实验结果显示，优化后训练速度提升3.36倍，内存占用降低50%，同时保持99.6%的模型精度。文章还提供了混合精度训练、性能瓶颈分析等实用工具，为大规模多模态模型在异构平台的高效部署提供了完整解决方案。
2025-12-03 19:10:36
1056
原创 Triton - Ascend算子调试工具实战：从精准定位到性能极致
摘要：Triton调试工具彻底改变了Ascend算子开发调试体验，从"盲人摸象"转变为"科学实验"。该工具提供三层诊断系统：编译时检查潜在问题、运行时全方位监控、执行后深度分析。通过实战案例展示，Triton能将复杂注意力算子的调试时间从3天缩短到2小时，显著提升性能稳定性。文章还分享了7个黄金调试工作流，覆盖性能回归分析、竞争条件重现、内存错误定位等场景，并展望AI增强调试等未来技术方向。Triton不仅提供强大工具，更带来调试思维的转变，使NPU调试从"
2025-12-02 17:39:20
934
原创 面向不同开发者场景的Triton-on-Ascend应用策略：从算法研究到性能压榨
本文系统解析Triton-on-Ascend在不同开发者场景下的差异化应用策略。针对算法研究员、工程实现工程师、性能优化专家三类典型开发者，分别制定从快速原型验证到极致性能压榨的技术路线。通过完整的场景化案例库和性能数据对比，为不同技术背景的开发者提供量身定制的解决方案，实现开发效率与运行性能的最佳平衡。算法研究员成功模式🎯目标：快速验证算法可行性⚡关键：最小化环境配置时间📊指标：算法收敛性、基础性能🛠️工具：预制环境、自动化调优工程实现工程师成功模式🎯目标：稳定、可维护的生产代码⚡关键。
2025-12-02 16:39:36
982
原创 Weight NZ预处理在Ascend C中的实现 - 稀疏化加速推理实战
本文深入解析了基于CANN量化Matmul开发样例中的WeightNZ预处理技术，重点探讨了其在AscendC中通过稀疏化和非零值优化实现推理加速的方法。文章详细介绍了NZ数据格式、稀疏矩阵压缩和硬件加速指令等关键技术，结合NPU架构特性展示了WeightNZ预处理如何将模型推理速度提升3倍以上。通过智能稀疏化算法、硬件优化处理和端到端预处理流水线等实战案例，系统性地阐述了从算法原理到工程实现的全过程，并提供了性能分析和优化指南。该技术可显著降低计算和存储开销，为AI推理加速提供了有效的解决方案。
2025-12-01 17:49:11
855
原创 Ascend C实现Pow算子——设计与Host端Tiling策略
本文详细介绍了基于AscendC的Pow算子实现全流程，重点解析了Host端Tiling策略的优化方法。通过三级Tiling架构（全局划分、核间负载均衡、核内优化）、动态Shape处理等技术，实现了高性能的算子实现。文章包含完整的工程结构设计、数学定义分析、接口规范、核心代码实现及性能测试数据，在Ascend 310P上实现最高3.29倍加速比。特别针对推荐系统等实际业务场景，展示了温度缩放等应用案例，为AscendC算子开发提供了企业级参考标准。
2025-12-01 17:26:48
569
原创 Ascend C内存搬运的艺术：Double Buffer与流水线优化详解
本文深入剖析了昇腾AI处理器中AscendC编程模型的内存优化技术，重点解析了DoubleBuffer双缓冲机制和多级流水线设计。通过异构计算架构分析，揭示了如何通过计算与搬运的并发执行突破内存带宽限制。文章包含完整的矩阵乘法优化实现代码、性能对比数据（最高提升3.8倍）以及企业级推荐系统的实战案例。针对开发者提供了分步骤优化指南、常见问题解决方案和进阶技巧，并展望了AscendC的未来演进方向。核心观点强调理解硬件特性对性能优化的重要性，建议开发者建立"硬件意识"的编程思维，通过性能建
2025-11-29 18:38:41
806
原创 【探索实战】30分钟搭建企业级分布式云原生平台：基于Kurator的全链路实践指南
本文基于笔者多年的云原生实战经验，详细记录如何使用Kurator在30分钟内快速构建生产可用的分布式云原生平台。文章从实际环境准备入手，逐步演示Kurator控制平面的一键部署、多集群无缝接入、统一应用分发等核心功能。关键技术点包括舰队管理抽象GitOps跨集群交付统一监控策略，并针对网络配置、镜像拉取等常见问题提供实战解决方案。通过真实性能数据验证，单控制平面可管理100+集群，应用分发效率提升85%，为中小企业快速构建多云管理能力提供完整参考。效率显著提升平台搭建时间：从数天降至30分钟。
2025-11-29 10:34:07
974
原创 【贡献经历】成为Kurator Maintainer的心路历程：责任、挑战与成长
摘要：本文记录了作者从Kurator使用者成长为项目Maintainer的全过程。通过参与集群生命周期管理、舰队能力开发等核心功能，作者主导实现了集群弹性伸缩、多集群网络优化及统一备份恢复功能。文章深入解析了Kurator基于ClusterAPI的扩展机制、多集群调度算法等关键技术，并分享了开源社区协作经验。作者从技术视野扩展、系统设计能力提升等方面总结了成长收获，展望了Kurator在智能调度、异构计算支持等方向的发展规划，强调了构建可持续发展开源生态的重要性。全文为云原生开发者提供了从使用者到核心贡献者
2025-11-28 20:11:01
737
原创 【前瞻创想】面向未来：分布式云原生技术的三大趋势与Kurator的演进方向
摘要：分布式云原生技术正经历从"多云共存"到"多云融合"的变革，呈现三大趋势：多云多集群成为默认选项、AI原生运维与算力编排兴起、云边端一体化发展。本文系统介绍了开源平台Kurator的技术架构，包括其创新的"舰队"抽象层、智能调度算法和云边协同能力，通过实际案例展示了Kurator如何整合主流开源项目，构建面向未来的分布式云原生基础设施。实测表明，Kurator可提升30%资源利用率并降低40%跨云运维成本，为企业数字化转型提供可演进的技术底座。
2025-11-28 19:57:48
769
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人