TensorFlow Lite来了！手机上轻量的AI运算

最新推荐文章于 2024-01-28 14:11:45 发布

weixin_33892359

最新推荐文章于 2024-01-28 14:11:45 发布

阅读量224

点赞数

文章标签：嵌入式移动开发 c/c++

原文链接：https://juejin.im/post/5c1b5ab46fb9a049d37f102b

版权

TensorFlow Lite 可以说是 TensorFlow 的完美减肥版本，让机器学习的模型在各种行动装置上跑起来更有效率。 TensorFlow Lite 预览版现在 iOS、Android 全都支持喔！快来试试看吧！日前，谷歌正式发布 TensorFlow Lite 开发者预览版，这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow Lite 是一种全新的设计，具有三个重要功能——轻量级（Lightweight）、跨平台（Cross-platform）、快速（Fast）。

下面是来自网络大厂公司Developers Blog 的详细信息，雷锋网 AI 科技评论编译如下。今天，我们正式发布 TensorFlow Lite 开发者预览版，这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow 可以在许多平台上运行，从机架上大量的服务器到小型的物联网设备，但近几年，随着大家使用的机器学习模型呈指数级增长，因此需要将训练模型的平台扩展到移动和嵌入式设备上。TensorFlow Lite 支持设备上机器学习模型的低时延推理。TensorFlow Lite 是一种全新的设计，它支持以下功能： 1.轻量级（Lightweight）：支持机器学习模型的推理在较小二进制数下进行，能快速初始化/启动。 2.跨平台（Cross-platform）：可以在许多不同的平台上运行，现在支持 Android 和 iOS 3.快速（Fast）：针对移动设备进行了优化，包括大大减少了模型加载时间、支持硬件加速。如今，越来越多的移动设备中含有专用的定制硬件来更高效地进行机器学习。TensorFlow Lite 支持 Android 神经网络 API（Android Neural Networks API），大家在使用 TensorFlow Lite 时可以利用这些有用的加速器。当加速器（硬件设备）不可用时，TensorFlow Lite 会返回到 CPU 来执行，这将保证模型仍然可以在一大批设备上快速运行。

结构下图是 TensorFlow Lite 的结构设计：

模块如下:

TensorFlow Model：存储在硬盘上已经训练好的 TensorFlow 模型
TensorFlow Lite Converter：将模型转换为 TensorFlow Lite 文件格式的程序。
TensorFlow Lite Model File：基于 FlatBuffers 的模型文件格式，针对速度和大小进行了优化。可以将 TensorFlow Lite Model File 部署到 Mobile App ，如上图中所示：
Java API：处于 Android App 中 C++ App 上，方便封装。
C++ API：加载 TensorFlow Lite Model File，调用解释器（Interpreter）。上面的这两个库在 Android 和 iOS 端都可用。
Interpreter：使用一组运算符来执行模型。运算符可以选择，如果不含运算符，只有 70KB，加载所有的运算符之后为 300KB。比起需要 1.5 M(使用一组正规的操作符) 的 TensorFlow Mobile，能使容量大大减小。
在 Android 设备上，Interpreter 支持 Android 神经网络 API，可以用它进行硬件加速。如果没有可用的加速器，则默认使用 CPU。开发人员还可以使用 C++ API 来自定义 kernel。

模型 TensorFlow Lite 目前支持很多针对移动端训练和优化好的模型。 1.MobileNet：能够识别 1000 种不同对像类的视觉模型，为实现移动和嵌入式设备的高效执行而设计。 2.Inception v3：图像识别模型，功能与 MobileNet 相似，它提供更高的精度，但相对来说更大。 3.Smart Reply：设备对话模型，可以实时回复聊天消息，在 Android Wear 上有使用这一功能。 Inception v3 和 MobileNets 已经在 ImageNet 数据集上训练了。大家可以利用迁移学习来轻松地对自己的图像数据集进行再训练。

关于 TensorFlow Mobile 正如大家知道的那样，TensorFlow 可以通过 TensorFlow Mobile API 对模型进行移动和嵌入式部署。展望未来，TensorFlow Lite 应该被看作是 TensorFlow Mobile 的升级。随着一步步的成熟，它将成为在移动和嵌入式设备上部署模型的推荐解决方案。TensorFlow Lite 目前是预览版，大家仍然可以使用 TensorFlow Mobile。TensorFlow Lite 的功能有很多，目前仍处于紧锣密鼓的开发阶段。这次的发布中，我们特意使用受限平台，来保证一些最重要的常见模型的性能不受到影响。我们计划根据用户的需要来考虑未来优先扩展的功能。我们的开发目标是简化开发人员的体验，并让模型能部署到一系列移动和嵌入式设备上。很高兴开发者也在帮助 TensorFlow Lite 项目的顺利进行。我们将会以与 TensorFlow 项目相同的热情来支持和启动 TensorFlow Lite 社群。欢迎大家来使用 TensorFlow Lite。部分参考信息内容：胜博发一起祈福 chiayuan.org.tw/