国产AI框架再进化！百度Paddle Lite发布：率先支持华为NPU在线编译，全新架构更多硬件支持...

乾明 边策 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

国产AI框架飞桨刚刚带来新进化：Paddle Lite正式发布！

高扩展、高性能、轻量化，还是首个支持华为NPU在线编译的深度学习端侧推理框架，剑指加大力度攻占移动端侧场景。

而且大环境如此，这样的自主研发基础框架进展，也有了更多的寄寓。

诚意和实力方面也值得称道。针对更广泛、更异构的AI硬件支持，是Paddle Lite的核心亮点之一。

此次升级发布，Paddle Lite的架构有了重大升级，在多硬件、多平台以及硬件混合调度的支持上更加完备。

不仅涵盖ARM CPU、Mali GPU、Adreno GPU、华为NPU等移动端芯片，也支持FPGA等边缘设备常用硬件，并具备可兼容支持云端主流芯片的能力。

其中，Paddle Lite还成为了首个华为NPU在线编译的深度学习推理框架。更早之前，百度和华为宣布在AI开发者大会上强强联手。

值得一提的是，对标Google推出的TensorFlow Lite，升级发布的Paddle Lite更是直接围绕前者不足进行了补强。

官方表示，不仅支持范围更广的AI硬件终端，增强了部署的普适性，并且具备明显的性能优势。

AI框架的竞争，愈加激烈，也进入全新阶段。

何为Paddle Lite？

Paddle Lite，是Paddle Mobile的进化版，是一款主打端侧高性能轻量化部署的推理引擎。

核心用途是将训练出的模型在不同硬件平台场景下快速部署，根据输入数据，执行预测推理得到计算结果，支持实际的业务应用。

在AI技术落地中，推理阶段与实际应用相关联，直接关系到用户的体验，是非常具有挑战性的一环。

而更具挑战性的是，当前承载推理的硬件，正日趋异构化。云端、移动端和边缘端对应着各种不同的硬件，底层的芯片架构差异很大。

如何能够完整地支持如此众多的硬件架构，并且实现这些硬件之上人工智能应用性能的优化，实现更快的速度？

Paddle Lite给出的解决方案是：

通过全新架构高扩展性和高灵活度地建模底层计算模式，加强了多种硬件、量化方法、Data Layout 混合调度执行的能力，从而保障了