使用TensorFlow Lite将深度学习模型部署到IOT系统

使用TensorFlow Lite将深度学习模型部署到IOT系统

TensorFlow Lite简介

移动设备深度学习框架是部署在手机或者树莓派等小型移动设备上的深度学习框架，可以使用训练好的模型在手机等设备上完成推理任务。这一类框架的出现，可以使得一些推理的任务可以在本地执行，不需要再调用服务器的网络接口，大大减少了预测时间。

TensorFlow Lite是TensorFlow针对移动和嵌入式设备的轻量级解决方案（深度学习框架）。它支持设备内机器学习推理，具有低延迟和小二进制大小。TensorFlow Lite还支持Android神经网络API的硬件加速 。
TensorFlow Lite使用许多技术来实现低延迟，例如优化移动应用程序的内核，预融合激活以及允许更小和更快（定点数学）模型的量化内核。

TensorFlow Lite使用流程

要了解TensorFlow Lite 的使用流程，首先来看一下官方给出的关于该框架的架构图就一目了然了：

从训练好的TensorFlow模型开始，我们使用TensorFlow Lite转换器将正常训练的模型转换为TensorFlow Lite文件格式。然后，我们就可以在移动应用程序中使用该转换后的文件。

理解TensorFlow Lite模型的在IOT系统中的架构：

• Java API：围绕Android上的C ++ API