- 博客(14)
- 收藏
- 关注
RSS订阅
原创 数智未来 因你而来 | 昇腾AI创新大赛2024全新启航
数智未来 因你而来 | 昇腾AI创新大赛2024全新启航。25大赛区，旗舰赛道，全新子赛事，千万奖金池，等你来挑战！
2024-05-16 09:48:50
197
原创 京城五月时，昇腾社区诚邀您报名参加#鲲鹏昇腾开发者大会 2024，成功报名可参与定制周边抽奖！速来！
京城五月时，昇腾社区诚邀您报名参加#鲲鹏昇腾开发者大会 2024，成功报名可参与定制周边抽奖！速来！
2024-04-16 15:04:08
467
1
原创 昇腾AscendCL推理应用开发入门教程（基于Python语言）
pyACL（Python Ascend Computing Language）是一套在AscendCL的基础上使用CPython封装得到的Python API库，使用户可以通过Python进行昇腾AI处理器的运行管理、资源管理等，实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。了解了这些大步骤后，下面我们再展开来说明开发应用具体涉及哪些关键功能？各功能又使用哪些pyACL接口，这些pyACL接口怎么串联？
2023-12-28 11:31:01
1311
1
原创 昇腾CANN 7.0 黑科技：大模型推理部署技术解密
总而言之，在大模型技术日新月异不断迭代的时代背景下，昇腾CANN将会持续深耕大模型优化&加速技术，比如继续探索面向在线服务的调度优化，缩短服务时延；基于计算图的weight预取与Cache驻留优化，提升访存性能；亲和FlashAttention业界最新融合算子，提升计算性能；支持更丰富的量化计算组合、模型稀疏，降低内存占用...随着大模型规模化商业落地，以昇腾CANN为核心的昇腾AI基础软硬件平台，将持续提升大模型推理部署场景的核心竞争力，为客户提供最优选择！
2023-12-28 11:19:23
634
1
原创 昇腾CANN 7.0 黑科技：DVPP硬件加速训练数据预处理，友好解决Host CPU预处理瓶颈
在NPU/GPU上进行模型训练计算，为了充分使用计算资源，一般采用批量数据处理方式，因此一般情况下为提升整体吞吐率，batch值会设置的比较大，常见的batch数为256/512，这样一来，对数据预处理处理速度要求就会比较高。大家是不是对这些接口功能很熟悉？昇腾CANN内置的预处理算子是比较丰富的，后续在继续丰富torchvision预处理算子库的同时，也会进一步提升预处理算子的下发和执行流程，让流水处理的更好，减少数据处理的时间，持续提升昇腾CANN的产品竞争力，满足更广泛的业务场景诉求。
2023-12-28 11:13:59
1020
1
原创 好课推荐！Ascend C算子开发课程上线啦！适合新手入门/进阶提升，AI学习叠满BUFF~
深度学习算法由一个个计算单元组成，我们称之为算子，在AI网络模型中，算子对应层或节点的计算逻辑，例如卷积层是一个算子、全连接层中的权值求和过程也是一个算子，它们是完成高性能AI计算的关键。Ascend C还配套丰富的学习资料，包括教程文档、交流社区、案例代码等，这些资源将帮助您更好地辅助课程内容消化、理解Ascend C编程语言的各种概念和技巧，为您的自主学习提供便利。，助您进一步提升开发技能，全面掌握Ascend C算子开发和调用流程，独立完成算子Tiling开发，并进行单算子、网络中算子调用。
2023-12-28 11:09:43
408
1
原创 一文掌握Ascend C孪生调试
Ascend C提供孪生调试方法，即CPU域模拟NPU域的行为，相同的算子代码可以在CPU域调试精度，NPU域调试性能。孪生调试的整体方案如下：开发者通过调用Ascend C类库编写Ascend C算子kernel侧源码，kernel侧源码通过通用的GCC编译器进行编译，编译生成通用的CPU域的二进制，可以通过gdb通用调试工具等调试手段进行调试；kernel侧源码通过毕昇编译器进行编译，编译生成NPU域的二进制文件，可以通过msprof工具进行性能数据采集等方式进行调试。
2023-12-28 11:00:34
996
1
原创 昇腾CANN 7.0 黑科技：大模型训练性能优化之道
昇腾CANN借助根技术创新对大模型训练过程进行了系统级的优化加速，通过合理的分布式切分策略和内存优化策略，使大模型放得下；通过计算层、调度层和通信域的优化，使大模型跑得快，未来CANN也将持续研究、不断突破，以大模型赋能应用，加速千行万业智能化转型。
2023-12-28 10:40:41
1051
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人