- 博客(14)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 数智未来 因你而来 | 昇腾AI创新大赛2024全新启航
数智未来 因你而来 | 昇腾AI创新大赛2024全新启航。25大赛区,旗舰赛道,全新子赛事,千万奖金池,等你来挑战!
2024-05-16 09:48:50
197
原创 京城五月时,昇腾社区诚邀您报名参加#鲲鹏昇腾开发者大会 2024,成功报名可参与定制周边抽奖!速来!
京城五月时,昇腾社区诚邀您报名参加#鲲鹏昇腾开发者大会 2024,成功报名可参与定制周边抽奖!速来!
2024-04-16 15:04:08
467
1
原创 昇腾AscendCL推理应用开发入门教程(基于Python语言)
pyACL(Python Ascend Computing Language)是一套在AscendCL的基础上使用CPython封装得到的Python API库,使用户可以通过Python进行昇腾AI处理器的运行管理、资源管理等,实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。了解了这些大步骤后,下面我们再展开来说明开发应用具体涉及哪些关键功能?各功能又使用哪些pyACL接口,这些pyACL接口怎么串联?
2023-12-28 11:31:01
1311
1
原创 昇腾CANN 7.0 黑科技:大模型推理部署技术解密
总而言之,在大模型技术日新月异不断迭代的时代背景下,昇腾CANN将会持续深耕大模型优化&加速技术,比如继续探索面向在线服务的调度优化,缩短服务时延;基于计算图的weight预取与Cache驻留优化,提升访存性能;亲和FlashAttention业界最新融合算子,提升计算性能;支持更丰富的量化计算组合、模型稀疏,降低内存占用...随着大模型规模化商业落地,以昇腾CANN为核心的昇腾AI基础软硬件平台,将持续提升大模型推理部署场景的核心竞争力,为客户提供最优选择!
2023-12-28 11:19:23
634
1
原创 昇腾CANN 7.0 黑科技:DVPP硬件加速训练数据预处理,友好解决Host CPU预处理瓶颈
在NPU/GPU上进行模型训练计算,为了充分使用计算资源,一般采用批量数据处理方式,因此一般情况下为提升整体吞吐率,batch值会设置的比较大,常见的batch数为256/512,这样一来,对数据预处理处理速度要求就会比较高。大家是不是对这些接口功能很熟悉?昇腾CANN内置的预处理算子是比较丰富的,后续在继续丰富torchvision预处理算子库的同时,也会进一步提升预处理算子的下发和执行流程,让流水处理的更好,减少数据处理的时间,持续提升昇腾CANN的产品竞争力,满足更广泛的业务场景诉求。
2023-12-28 11:13:59
1020
1
原创 好课推荐!Ascend C算子开发课程上线啦!适合新手入门/进阶提升,AI学习叠满BUFF~
深度学习算法由一个个计算单元组成,我们称之为算子,在AI网络模型中,算子对应层或节点的计算逻辑,例如卷积层是一个算子、全连接层中的权值求和过程也是一个算子,它们是完成高性能AI计算的关键。Ascend C还配套丰富的学习资料,包括教程文档、交流社区、案例代码等,这些资源将帮助您更好地辅助课程内容消化、理解Ascend C编程语言的各种概念和技巧,为您的自主学习提供便利。,助您进一步提升开发技能,全面掌握Ascend C算子开发和调用流程,独立完成算子Tiling开发,并进行单算子、网络中算子调用。
2023-12-28 11:09:43
408
1
原创 一文掌握Ascend C孪生调试
Ascend C提供孪生调试方法,即CPU域模拟NPU域的行为,相同的算子代码可以在CPU域调试精度,NPU域调试性能。孪生调试的整体方案如下:开发者通过调用Ascend C类库编写Ascend C算子kernel侧源码,kernel侧源码通过通用的GCC编译器进行编译,编译生成通用的CPU域的二进制,可以通过gdb通用调试工具等调试手段进行调试;kernel侧源码通过毕昇编译器进行编译,编译生成NPU域的二进制文件,可以通过msprof工具进行性能数据采集等方式进行调试。
2023-12-28 11:00:34
996
1
原创 昇腾CANN 7.0 黑科技:大模型训练性能优化之道
昇腾CANN借助根技术创新对大模型训练过程进行了系统级的优化加速,通过合理的分布式切分策略和内存优化策略,使大模型放得下;通过计算层、调度层和通信域的优化,使大模型跑得快,未来CANN也将持续研究、不断突破,以大模型赋能应用,加速千行万业智能化转型。
2023-12-28 10:40:41
1051
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人