- 博客(31)
- 收藏
- 关注
RSS订阅原创 动态批处理调度在NPU推理中的艺术与实战
本文深入探讨了大模型推理场景下动态批处理调度的核心技术，重点剖析了max_batch_size与max_tokens参数的优化策略。通过CANN项目中的实际代码实现，展示了如何构建高效的请求调度器，在保证内存安全的前提下最大化NPU利用率。文章包含性能测试数据、生产级代码示例及常见问题解决方案，为开发者提供了从理论到实践的完整指导。关键点包括：双重约束检查算法、吞吐量与延迟的平衡技巧，以及针对不同业务场景的参数调优建议，帮助团队在复杂推理场景中实现最佳性能表现。
2026-02-07 09:23:08
618
原创 KV Cache分页管理 PagedAttention在CANN中的实现与性能突破
本文深入解析CANN计算算子库中PagedAttention的实现，重点介绍其KVCache分页管理机制。通过block_table内存布局优化，LLaMA-70B模型推理显存占用降低41%，吞吐量提升3.2倍。文章从技术原理、实战实现到性能优化，系统阐述了分页式KVCache管理如何解决大模型推理中的显存碎片化问题。核心创新是将传统连续存储的键值缓存拆分为固定大小的内存块，实现类似操作系统的虚拟内存分页机制。实测数据显示，该方法在长序列场景下优势尤为显著，为生产环境中的可变长度序列处理提供了高效解决方案。
2026-02-07 09:20:23
872
原创 CANN Runtime零拷贝传输技术源码实战 彻底打通Host与Device的数据传输壁垒
本文深入探讨了AI模型加速中常被忽视的零拷贝数据传输技术。通过分析CANN ops-nn仓库的实现细节，揭示了如何利用共享内存和内存映射技术实现CPU与NPU之间的高效数据传输。文章对比了传统数据传输与零拷贝技术的性能差异，展示了后者在延迟、吞吐量和CPU占用率方面的显著优势。同时提供了完整的C++代码示例，演示了如何在模型推理中应用零拷贝技术，包括内存申请、数据准备和模型执行等关键步骤。此外，文章还分享了企业级应用案例、性能优化技巧和故障排查指南，为开发者提供了从理论到实践的完整指导。
2026-02-06 23:20:39
404
1
原创 CANN Runtime批处理调度源码解析 小批量推理请求合并的艺术
摘要：本文深入解析CANNRuntime的批处理调度技术，揭示其如何通过智能请求合并提升NPU计算效率。核心内容包括动态批大小调整算法、延迟与吞吐量权衡策略，以及基于源码(BatchScheduler类)的具体实现。文章通过实测数据展示批处理带来的8倍吞吐量提升，并提供完整的Python实现示例，涵盖队列管理、内存优化等实战技巧。特别强调企业级应用中的两级调度设计和自适应优化策略，为AI推理性能优化提供实用参考方案。
2026-02-06 23:16:51
866
原创 深入剖析Torch与Ascend C的互操作机制
本文深入剖析了PyTorch与昇腾AI处理器（NPU）的底层互操作机制，重点介绍了torch_npu框架中td::mm::内存管理器的核心技术。通过三级缓存策略和四维调度机制，实现了张量内存的高效管理，将内存拷贝开销降低95.8%。文章详细展示了从Python层到NPU指令的完整调用链路，包含算子注册、内存管理和计算图转换三大核心技术，并提供了可运行的自定义矩阵乘法算子实现示例。实测数据显示，优化后的框架在ResNet50推理任务中实现43%的延迟降低和75.5%的吞吐量提升。最后，文章还分享了企业级LLM
2025-12-17 23:43:28
1018
1
原创 矩阵乘法 神经网络与大模型的核心计算引擎深度解析
本文系统阐述了深度学习核心算子矩阵乘法在昇腾NPU上的全链路优化方法。作者基于13年高性能计算经验，详细解析了从数学原理到硬件映射的优化体系，重点介绍了CANN软件栈通过分块策略、流水线并行和内存层级优化将NPU计算单元利用率从25%提升至85%的关键技术。文章包含完整的AscendC MatMul算子实现流程，涵盖基础实现到极致优化的五个阶段，并分享了千亿参数大模型训练中的典型性能陷阱解决方案。最后展望了面向万亿参数稀疏模型的下一代矩阵计算架构演进方向，包括动态稀疏计算、存算一体和AI自动化优化等前沿技术
2025-12-17 23:37:13
824
原创 Ascend C 与 CUDA 的对比分析-为异构计算开发者提供迁移指南
本文系统对比了AscendC与CUDA在异构计算领域的核心差异。通过架构哲学、编程模型、性能特性三个维度深入分析：1）AscendC采用AI原生设计，CUDA侧重通用加速；2）AscendC任务块级抽象相比CUDA线程级模型更简化开发；3）实测显示AscendC在大矩阵运算能效比提升32%，内存带宽利用率达92%。文章提供完整迁移方法论，包括双缓冲优化、混合精度计算等核心技巧，并附企业级案例验证迁移后P99延迟从15ms降至8ms。最后指出未来异构计算将向更高级抽象、智能编译方向发展。
2025-12-14 19:16:37
1068
原创 动态Shape场景下Ascend C算子Tiling的挑战与实现
本文系统阐述了动态Shape场景下AscendC算子Tiling的关键技术与实践方案。针对输入张量形状动态变化的挑战，提出了分层自适应架构设计，包含形状感知层、资源规划层和执行优化层。通过动态Softmax算子的完整实现案例，详细展示了从Host侧参数计算到Device侧自适应调度的全流程，包括形状推导引擎、动态分块算法、双缓冲优化等核心技术。实验表明，该方案能在85%业务场景中达到固定Shape算子90%以上的性能，同时支持无限形状变化。文章还分享了企业级部署策略和高级故障排查方法，为开发者提供了从理论到
2025-12-14 19:08:23
715
原创 NPU编程范式的革命 - 基于MlaProlog案例的“软件定义计算流“实践
本文深入探讨NPU编程范式的变革，重点分析从控制流向数据流范式的转变。以昇腾MlaProlog融合算子为例，揭示了达芬奇架构的硬件特性及传统编程范式在NPU上的局限性，提出了基于数据流驱动的协同设计方法。通过完整的MlaProlog算子实现案例，展示了软硬协同优化带来的3-5倍性能提升，包括计算单元利用率优化、内存访问优化和流水线并行度提升等关键技术。文章还分享了企业级应用案例和高级调试技巧，为AI开发者提供了NPU高性能编程的实用指南，并展望了自动代码生成和跨平台兼容性等未来技术趋势。
2025-12-11 05:52:17
734
原创 超越MlaProlog：构建自定义CV融合算子的通用设计模式库
本文提出基于昇腾AscendC的通用设计模式库，解决传统CV融合算子开发中的场景耦合、复用性差等问题。通过分层架构设计、智能策略选择和自动化优化框架，该方案在阿里巴巴推荐系统中实现129%吞吐量提升、58%延迟降低和44%内存节省。文章包含完整的模式库实现技术、注意力机制实战示例及企业级优化案例，为开发者提供从理论到实践的全流程指导，显著提升算子开发效率和质量。
2025-12-11 05:40:35
1024
原创 Ascend C算子调试技巧：mspof性能数据采集与瓶颈定位
本文深入解析了昇腾平台mspof性能分析工具的核心原理与应用实践。文章从硬件架构和采集原理入手，系统介绍了性能计数器工作机制；详细讲解了火焰图生成、热点分析等高级诊断技术；通过YOLOv3等实战案例，展示了从数据采集到优化建议的全流程方法论。文中包含完整的性能分析脚本、自动诊断系统和优化建议生成工具，为开发者提供了一套覆盖硬件底层到应用层的性能调优解决方案。最后还提供了官方文档、学术论文等延伸资源，帮助开发者深入掌握AI加速器性能优化技术。
2025-12-08 06:53:26
713
原创 Ascend C多核编程深度解析 - 从并发基础到极致性能优化
本文深度解析AscentC多核编程技术，从单核到多核的并行计算突破。通过7个架构图、完整代码示例和性能数据，展示多核矩阵乘法实现，实测32核可获得25倍加速。重点剖析动态负载均衡、核间通信优化等关键技术，提供企业级性能调优方案（4096矩阵效率达99.4%）。配套调试工具和性能分析脚本，帮助开发者应对通信开销、负载不均等核心挑战。昇腾910实测显示，合理多核并行可释放32个AICore的64TFLOPS算力，为大规模AI计算提供关键技术支撑。
2025-12-08 06:47:34
928
原创 Ascend C 算子开发全流程揭秘 - 从 msopgen 到精度校验
本文系统介绍了昇腾AI处理器上基于AscendC的自定义算子全流程开发方法。首先阐述了msopgen工具链的核心作用，解析了其生成的标准项目结构；深入讲解了AscendC算子的三层流水线架构原理（Copy-In、Compute、Copy-Out）。通过构建Add算子的实战案例，详细展示了从工程生成、内核函数实现到主机端调用的完整开发过程，并重点强调了精度校验作为质量保障的关键环节。文章还提供了企业级实践建议和常见问题排查指南，为开发者提供了一套标准化的高性能算子开发方法论。
2025-12-05 02:54:42
634
原创 Ascend C API 详解：核心接口用法与高性能编程实践
本文系统介绍了AscendC API的高效使用方法，重点剖析了NPU编程的关键技术。内容涵盖：1）环境初始化陷阱与防御性编程模板；2）内存分配策略对性能的影响；3）核函数声明规范与三种内存空间修饰符的实战应用；4）矩阵乘法从基础到流水线优化的完整实现，性能可达85%硬件利用率；5）7个API使用黄金法则和常见故障排查方法。通过深入硬件特性分析，指导开发者突破性能瓶颈，并展望了API未来发展趋势。强调理解硬件架构、数据局部性和计算密度是NPU编程的核心原则。
2025-12-05 02:48:45
737
原创 Ascend C与CANN架构深度解析：从硬件融合到算子开发实战
🚀摘要：本文深度解析昇腾AI软件栈CANN的"软硬件协同"设计精髓，将AscendC编程模型比作连接AI算法与NPU硬件的"神级翻译官"。文章通过实战案例揭示三级存储架构的关键性，指出"数据搬运"比"计算"更影响性能的核心认知，并演示双缓冲流水线优化的向量加法实现。作者提出两种开发范式：快速原型适合算法验证，工程化手搓则追求极致性能，并通过MoE模型门控优化案例展示15%的端到端加速效果。最后展望编译器智能化、DSL等未来趋势
2025-12-04 23:40:23
898
原创 展望：AsNumpy 与昇腾全栈AI软件的未来发展路径
本文系统探讨了AsNumpy在昇腾AI计算架构中的战略定位与技术演进路径。研究指出，AI计算基础设施正经历从专用硬件到统一编程模型的范式转移，AsNumpy将从NPU加速库逐步演进为AI原生计算基础设施。文章重点分析了三大技术方向：1）异构计算统一编程模型，实现多硬件后端自动适配；2）AI原生架构设计，包括自适应编译与统一内存管理；3）云边端协同计算框架。通过架构演进预测，预计到2026年矩阵运算加速比将达45倍，能效比提升至18.9TOPS/W。研究还提出了可信执行环境集成、分布式计算优化等关键技术突破点
2025-12-04 19:59:00
722
原创 复杂算子实战 - Triton实现昇腾上的Gather算子优化
本文系统研究了Gather算子在昇腾NPU上的Triton优化实现，针对推荐系统等场景中的嵌入式表示查找问题，提出多级并行架构、内存访问优化、动态负载均衡等关键技术方案。实验表明，该方案在典型场景下实现3.2倍性能提升和45%内存效率提升，为NPU算子开发提供了可复用的最佳实践。文章详细解析了Gather算子的计算特性与NPU适配挑战，给出生产级实现代码和性能优化策略，并展望了AI驱动调优等未来方向，对深度学习系统优化具有重要参考价值。
2025-12-03 15:03:46
1061
原创 CANN训练营环境搭建：从零开始构建Ascend C开发环境
本文系统介绍CANN训练营环境搭建全流程，涵盖硬件选型、软件安装、环境配置到实战验证。重点解析昇腾设备驱动部署、CANNToolkit集成、开发工具链配置等关键步骤，并通过OrangePiAIPro开发板实战演示。文章指出正确优化的环境可提升算子开发效率300%，减少80%运行时错误，同时提供企业级环境标准方案。针对依赖冲突、权限管理等典型问题给出具体解决方案，并分享环境验证脚本和持续集成配置方法。通过版本匹配表和性能调优建议，为AscendC开发者提供从入门到进阶的完整环境搭建指南。
2025-12-03 14:25:44
816
原创 Ascend C最佳实践：性能优化“黑魔法”与常见陷阱规避
本文系统解析了AscendC性能优化的关键技术，涵盖五层优化体系架构、指令级并行优化、内存层级调优等核心内容。通过真实案例展示了从理论到实践的完整优化路径，包括缓存抖动、Bank冲突等性能陷阱的解决方案。文章提供了基于企业级项目的优化效果数据，并总结了五大优化原则和系统化调优方法论。针对不同开发阶段的技术人员，给出了针对性的优化建议和学习资源，为AscendC性能优化提供了全面指导。
2025-12-01 23:57:51
734
原创 Ascend C Tiling设计自动化 - 基于NPU存储单元的动态分块策略
本文提出了一个动态自适应Tiling系统，能够根据NPU存储单元实时状态自动生成最优分块策略。系统通过实时监控硬件状态（L1/L0 Buffer利用率、温度等），采用多目标优化算法动态调整Tiling参数，相比固定Tiling策略将矩阵乘法的硬件利用率从65%提升至89%。文章详细介绍了系统架构、核心算法和AscendC实现方案，并总结了7条黄金法则：存储使用率控制在70-85%、Bank冲突率低于15%、温度感知调整等。企业级测试显示，在千亿参数模型训练中，该系统可缩短23%训练时间并降低7℃芯片温度。未
2025-12-01 23:56:13
953
原创 Ascend C多维数据体的Tiling策略：以卷积算子为例
本文系统探讨了AscendC中多维Tiling策略的设计与优化方法，以卷积算子为例，详细解析了NCHW格式张量的高效切分技术。文章首先分析卷积算子的多维度特性和数据复用模式，提出多维Tiling决策框架和参数结构设计。通过完整的卷积算子实现案例，展示了如何平衡计算密度与内存带宽，并建立了专用性能评估体系。实战部分以ResNet-50卷积层为例，实现37.8%的性能提升。文章还包含高级优化技巧、调试方法和未来自适应Tiling的前瞻思考，为复杂算子开发提供了可落地的多维度解决方案。
2025-11-30 23:25:34
910
原创 性能瓶颈的克星：Ascend C 算子耗时分析与计算资源利用率优化
摘要：本文系统阐述了AscendC算子性能优化的方法论，聚焦计算资源利用率与耗时分析两大维度。基于昇腾AI处理器架构特性，提出性能三角模型（计算密度、内存带宽、并行度）作为分析框架，详细解析了双缓冲技术、向量化指令、流水线优化等核心技术。通过Matmul、Softmax等实战案例，展示如何将算子性能从理论值30%提升至80%以上。文章提供从理论分析到工程实践的完整优化路径，包含性能工具链使用、多核负载均衡及混合精度计算等高级技巧，并给出优化检查清单与持续改进闭环，助力开发者充分释放硬件算力。
2025-11-30 23:13:47
1028
原创 形状推导的智能：实现 Ascend C 算子动态 Shape 自适应计算的关键
摘要：本文系统阐述了AscendC动态Shape自适应计算技术，提出完整的智能形状推导架构。从动态Shape的数学本质出发，详细介绍了动态分块算法、形状推导引擎设计、运行时自适应优化等核心技术，并以Softmax算子为例展示了性能与通用性的平衡方案。文章创新性地提出了动态自适应流水线和混合Shape处理策略，为复杂AI场景下的算子开发提供了理论指导和实践参考，解决了传统静态优化方法在可变输入场景下的局限性。通过分层自适应架构和智能资源管理系统，实现了计算资源与数据特征间的动态平衡，显著提升了算子的工业可用性
2025-11-29 17:10:47
1114
原创 【探索实战】某电商公司多云架构落地Kurator实践与效益分析摘要
《基于Kurator的多云架构实践与效益分析》 本文以某电商平台为例，详细介绍了Kurator多云管理平台的落地实践。面对单云架构的弹性瓶颈，该平台通过Kurator统一管理阿里云、腾讯云、华为云三大平台，实现了跨云应用分发、智能流量调度和统一监控治理。文章重点解析了基于Karmada的多集群调度算法、Istio跨云服务网格等核心技术，展示了从环境准备到集群接入的完整实施过程。实际运行数据显示，该方案使部署效率提升85%，运维成本降低40%，资源利用率从42%提升至68%，年度成本节约达696万元，为多云管
2025-11-29 01:14:24
867
原创 【前瞻创想】基于Kurator构建智能化分布式AIGC管理平台：从理论到实践
摘要：本文系统阐述了Kurator分布式云原生平台与AIGC工作负载的深度整合方案。针对AIGC特有的计算密集型、数据密集型等特性，创新性地提出基于"舰队"范式的智能算力调度架构，通过增强的ClusterAPI、优化调度算法和端到端流水线管理，实现跨多云环境的资源高效利用。实测数据显示，该方案可提升GPU利用率至65-75%，降低40%训练成本，并支持分钟级全球部署。文章包含架构解析、实战指南及金融行业应用案例，为构建企业级AIGC平台提供了完整的解决方案，展现了分布式云原生技术在AI基
2025-11-28 23:31:32
1056
原创 【探索实战】无缝融合：将已有Kubernetes集群接入Kurator Fleet全记录
本文系统阐述了Kurator在多集群管理中的创新实践，重点介绍了其附着集群（AttachedCluster）设计理念与技术实现。文章详细解析了集群认证、网络连通、状态同步等关键技术，并通过实战演示完整接入流程。Kurator采用非侵入式接入方式，支持5分钟内完成集群接入，降低80%管理复杂度。针对企业级需求，提供了安全加固、批量接入等高级实践方案，并通过金融行业案例验证了其在统一治理、合规审计方面的价值。展望未来，Kurator将与AI运维、边缘计算深度融合，持续推动分布式云原生管理的发展。
2025-11-28 23:26:01
789
原创 Rust 命令行工具（CLI）实战：使用 `clap`、`anyhow` 和 `ratatui` 构建 TUI
Rust 是构建高性能、跨平台、单一二进制 命令行工具（CLI）的绝佳选择。本文将提供一个完整的指南，从零开始构建一个现代化的 CLI 工具。我们将使用clap(Command Line Argument Parser) 来定义和解析命令行参数，使用anyhow和thisrror来构建健壮的错误处理，并最终使用ratatui(一个tui-rs的活跃分支) 和cossterm来构建一个复杂的终端用户界面（TUI），实战一个“磁盘空间分析器”工具。C/C++ CLIs 编译困难且不安全；
2025-10-30 20:38:05
1242
原创 Rust 异步 Trait 详解：GAT、async-trait 库与 dyn Async
async fnasync fnin traits很难，因为它返回一个不透明的、带生命周期的类型。库：通过将async fn转换为返回的普通fn来解决此问题。易于使用，支持dyn Trait，但有堆分配和动态分发开销。GAT 模式：通过使用泛型关联类型（）来精确定义返回的 Future 类型，实现零开销和**静态分发。Rust 1.75+：原生支持async fnin traits，编译器会自动使用 GAT 模式，这是未来的标准。
2025-10-30 20:24:11
815
原创 Rust 数据并行利器 rayon：从 `par_iter到 work-stealing 调度
在 Rust 中，tokio(async/await) 和rayon并发 (Concurrency)tokio)：处理多个 I/O 密集型任务。CPU 在等待网络或磁盘时，切换去做其他事。目标是提高响应性。并行 (Parallelism)rayon)：处理**单个PU 密集型任务。将一个大任务（如计算10亿个数字的和）拆分到多个 CPU 核心上同时执行。目标是**总耗时。graph TDA[计算类型] --> B{CPU 密集型?B -- 是 --> C[并行 (Parallelism)];
2025-10-30 20:11:00
887
原创 深入 unsafe Rust 与“内部可变性”：Cell、RefCell 与 UnsafeCell
Rust 的借用规则（“一个可变引用&mut T”或“多个不可变引用&T”，但不能同时存在）在编译时保证了数据竞争的安全。// ❌ 编译错误// 错误：不能从 &String 获取 &mut String");但在某些设计模式中（如图形结构、缓存、观察者模式），我们确实需要在一个对象看似“不可变”（`&self时，修改其内部的某些字段。这就是内部可变性的用武之地。内部可变性：在&T(不可变) 引用上修改内部数据的模式。Unsafel<T>：是所有内部可变性类型的基石，它“关闭”了编译器的\&T\
2025-10-30 19:33:21
698
原创 `serde` 深度解析：Rust 序列化与反序列化的艺术
在现代软件中，数据交换（Data Interchange）无处不在，例如在 Web API (JSON)、配置文件 (TOML)OML) 或数据库 (Binary) 之间。// 目标：// Rust struct <---> JSON 字符串id: u64,传统方式是为每种格式（JSON, TOML, Bincode）编写特定的转换代码，这导致了大量的重复劳动和错误。serde解决了这个问题，它提供了一个统一的抽象框架。serde的设计核心是：**让数据结构（如User）只实现一次。
2025-10-30 19:29:30
440
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人