端侧大模型推理加速神器!显著提升LLM、多模态等应用性能!

随着DeepSeek等大模型引爆端侧AI应用浪潮,AI手机、AI PC、机器人、智能汽车、AIoT等终端设备对AI推理加速的需求激增。Arm® KleidiAI作为面向AI框架开发者的计算内核,可有效提升各类模型在终端平台的推理效率。它支持Neon™、SVE2和SME2等关键Arm架构功能,深度集成MNN、Llama.cpp、PyTorch、Tensorflow、MediaPipe等热门AI框架,助力开发者在端侧高效部署主流大模型。

为此,4月24日,极术社区特邀安谋科技的技术专家围绕端侧大模型推理加速主题进行重磅分享。技术专家将深入分享大模型在端侧部署所面临的挑战与机遇,深度解析KleidiAI的原理及提升大模型性能的创新技术,同时结合实际案例演示KleidiAI在自然语言处理、语音识别、多模态等应用中的加速效果,以及在“星睿O6”上的推理框架集成实践,与开发者共同探讨KleidiAI在端侧AI部署中的更多应用

感兴趣的开发者欢迎

扫描海报下方二维码,加群获取直播动态

点击 阅读原文 立即 报名本期极术公开课

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值