乾明 边策 发自 凹非寺
量子位 报道 | 公众号 QbitAI
国产AI框架飞桨刚刚带来新进化:Paddle Lite正式发布!
高扩展、高性能、轻量化,还是首个支持华为NPU在线编译的深度学习端侧推理框架,剑指加大力度攻占移动端侧场景。
而且大环境如此,这样的自主研发基础框架进展,也有了更多的寄寓。
诚意和实力方面也值得称道。针对更广泛、更异构的AI硬件支持,是Paddle Lite的核心亮点之一。
此次升级发布,Paddle Lite的架构有了重大升级,在多硬件、多平台以及硬件混合调度的支持上更加完备。
不仅涵盖ARM CPU、Mali GPU、Adreno GPU、华为NPU等移动端芯片,也支持FPGA等边缘设备常用硬件,并具备可兼容支持云端主流芯片的能力。
其中,Paddle Lite还成为了首个华为NPU在线编译的深度学习推理框架。更早之前,百度和华为宣布在AI开发者大会上强强联手。
值得一提的是,对标Google推出的TensorFlow Lite,升级发布的Paddle Lite更是直接围绕前者不足进行了补强。
官方表示,不仅支持范围更广的AI硬件终端,增强了部署的普适性,并且具备明显的性能优势。
AI框架的竞争,愈加激烈,也进入全新阶段。
何为Paddle Lite?
Paddle Lite,是Paddle Mobile的进化版,是一款主打端侧高性能轻量化部署的推理引擎。
核心用途是将训练出的模型在不同硬件平台场景下快速部署,根据输入数据,执行预测推理得到计算结果,支持实际的业务应用。
在AI技术落地中,推理阶段与实际应用相关联,直接关系到用户的体验,是非常具有挑战性的一环。
而更具挑战性的是,当前承载推理的硬件,正日趋异构化。云端、移动端和边缘端对应着各种不同的硬件,底层的芯片架构差异很大。
如何能够完整地支持如此众多的硬件架构,并且实现这些硬件之上人工智能应用性能的优化,实现更快的速度?
Paddle Lite给出的解决方案是:
通过全新架构高扩展性和高灵活度地建模底层计算模式,加强了多种硬件、量化方法、Data Layout 混合调度执行的能力,从而保障了