Paddle Lite 2.0 正式发布：更强大易用的端侧推理引擎

今年8月，飞桨（PaddlePaddle）对外发布面向终端和边缘设备的端侧推理引擎Paddle Lite Beta版。经过近两个多月的迭代和发展，“WAVE Summit+ ”2019深度学习开发者峰会上Paddle Lite 2.0 正式版发布。

 

Paddle Lite的Github链接：

https://github.com/PaddlePaddle/Paddle-Lite

 

Paddle Lite致力于提供一套功能完整、易用、高性能的端侧推理引擎，方便广大开发者将应用部署到任何端侧设备之上。对比最初的 beta 版本，正式版在编译、文档、性能、硬件支持、平台支持等方面都有了较大的改进提升。

 

而飞桨团队也透露，将在今年内继续推进若干小版本的升级，并期待和欢迎开发者加入社区并给出反馈。

 

在AI技术落地中，推理阶段与实际应用相关联，直接关系到用户的体验，是非常具有挑战性的一环。

 

图1 典型端侧AI应用部署场景

 

Paddle Lite是飞桨产品栈中用于端侧高性能轻量化AI应用部署的推理引擎，核心用途是将训练出的模型在不同硬件平台场景下快速部署，根据输入数据，执行预测推理得到计算结果，支持实际的业务应用。

 

图2 Paddle Lite功能定位

 

Paddle Lite自Beta版发布以来，在如下核心功能上进行升级：

 

• 多框架支持：原生支持飞桨的模型，同时通过X2Paddle工具，提供对TensorFlow，PyTorch和ONNX模型格式的更充分的支持；

• 多硬件支持：除了ARM CPU、移动端GPU、华为NPU，新增支持Nvidia GPU和X86 CPU；

• 更好的性能：更新b