TensorFlow Lite入门

TensorFlow Lite介绍

TensorFlow Lite的目标是移动和嵌入式设备，它赋予了这些设备在终端本地运行机器学习模型的能力，从而不再需要向云端服务器发送数据。这样一来，节省了网络流量，减少了时间开销，而且还充分帮助用户保护自己的隐私和敏感信息

Android和iOS设备上，TensorFlow Lite都提供了C ++ API的支持，并且在Android平台还额提供了Java API的支持。这样一来，开发者就能非常方便地使用这些TensorFlow Lite API进行设计和开发。不过，默认情况下TensorFlow Lite使用的是CPU来进行解算，如果你需要使用Android 8.1推出的硬件加速API，则需要确保它运行在受支持的设备上。

协议缓冲区（ProtoBuff）

正是由于TensorFlow Lite运行在客户端本地，开发者必须要在桌面设备上提前训练好一个模型。各种类型的数据都需要使用ProtoBuff 来定义数据结构，有了这些ProtoBuff代码，你就可以使用工具来生成对应的C和Python或者其他语言的代码，方便装载，保存和使用数据。

ProtoBuff 目前支持Java，Python，Objective-C和C ++来生成代码。您还可以使用Go，Ruby和C＃，并使用更多语言。

并且为了实现模型的导入，还需要认识一些其他类型的文件，比如：图形定义，检查点以及冻结图。

图形定义

Graph Def（Graph Definition）文件有两种格式。拓展名为.pb的是二进制文件；而.pbtxt格式的则是更具可读性的文本文件。但是，实际使用中，二进制文件有着相当高的执行效率和内存优势。

Graph Def是你训练的模型的核心，它定义了节点的关系结构，方便由其他的进程来读取。比如下面这个Graph Def就定义了“矩阵A与矩阵B相乘得到矩阵C”的描述。

节点{
  名称：“a”
  op：“matmul”
}

节点{
  名称：“b”
  op：“matmul”
  输入：“a：0”
}

节点{
  名称：“c”
  op：“matmul”
  输入：“a：0”
  输出：“b：0”
}

检查站

检查站文件是来自TensorFlow图的序列化变量。这个文件当中没有图的结构，所以不会被解释。在训练学习的过程中，检查点文件记录了不同的迭代中变量的取值。

冷冻图

用图Def和Checkpoint生成Frozen Graph的过程叫做“冷冻”。为什么称之为冷冻呢？我们知道，生成Frozen Graph所需要的量都是从Checkpoint当中得到的，那么将变量转为常量的过程就被形象地称之为“冷冻”了。

TensorFlow Lite模型

TensorFlow Lite所用的模型是使用TOCO工具从TensorFlow模型转化而来的，来源就是经过冷冻生成的Frozen Graph。假如你已经得到了一个“够用”的模型了，而且你也没有源代码或者数据来重新进行训练，那么就使用当前的模型吧，没有任何问题。但如果你有源代码和数据，直接使用TOCO工具进行模型转化将会是最好的选择。示例代码如下：

使用tf.Session（）作为sess：
  tflite_model = tf.contrib.lite.toco_convert（sess.graph_def，[img]，[out]）
  开放（ “converted_model.tflite”， “WB”）。写（tflite_model）

在TensorFlow Lite中兼容的模型是Inception v3和MobileNets。

• Inception v3主要用于验证ImageNet数据集，这是一个被学界广泛认定为图片验证指标的数据集。
• MobileNets则是转为移动设备而设计的模型，具有低能耗的特征，但相应的缺点就是准确度不如初始v3

现在，开始试试看通过我们的Codelabs完成你的第一个TensorFlow Lite程序吧，链接：

第一部分，如何用MobileNets对图像分类：

https ：//codelabs.tensorflowers.cn/codelabs/tensorflow-for-poets/ index.html 

第二部分，如何将第一部分生成的模型构建成一个APK：

https ：//codelabs.tensorflowers.cn/codelabs/tensorflow-for-poets-2/index.html

参考：HTTPS：//github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/android