随着DeepSeek等大模型引爆端侧AI应用浪潮,AI手机、AI PC、机器人、智能汽车、AIoT等终端设备对AI推理加速的需求激增。Arm® KleidiAI作为面向AI框架开发者的计算内核,可有效提升各类模型在终端平台的推理效率。它支持Neon™、SVE2和SME2等关键Arm架构功能,深度集成MNN、Llama.cpp、PyTorch、Tensorflow、MediaPipe等热门AI框架,助力开发者在端侧高效部署主流大模型。
为此,4月24日,极术社区特邀安谋科技的技术专家围绕端侧大模型推理加速主题进行重磅分享。技术专家将深入分享大模型在端侧部署所面临的挑战与机遇,深度解析KleidiAI的原理及提升大模型性能的创新技术,同时结合实际案例演示KleidiAI在自然语言处理、语音识别、多模态等应用中的加速效果,以及在“星睿O6”上的推理框架集成实践,与开发者共同探讨KleidiAI在端侧AI部署中的更多应用。
感兴趣的开发者欢迎
扫描海报下方二维码,加群获取直播动态
点击 阅读原文 立即 报名本期极术公开课。