直接java调用tflite_TFLite基础知识

此基础知识仅为个人学习记录，如有错误或遗漏之处，还请各位同行给个提示。

概述

TFLite主要含有如下内容：

(1)TFLite提供一系列针对移动平台的核心算子，包括量化和浮点运算。另外，TFLite也支持在模型中使用自定义算子。

(2)TFLite基于FlatBuffers定义了一种新的模型文件格式。FlatBuffers类似于protocol buffers， FlatBuffers在访问数据之前不需要进行解析/解包步骤，通常与每个对象的内存分配相结合。而且，FlatBuffers的代码占用空间比protocol buffers小一个量级。

(3)TFLite拥有一个新的优化解释器，其主要目标是保持应用程序的精简和快速。 解释器使用静态图形排序和自定义(动态性较小)内存分配器来确保最小的负载、初始化和执行延迟。

(4)TFLite提供了一个利用硬件加速的接口，通过安卓端的神经网络接口(NNAPI)实现，可在Android 8.1(API级别27)及更高版本上使用。

TFLite提供的支持：

(1)一组核心ops，包括量化和浮点运算，其中许多已经针对移动平台进行了调整。 这些可用于创建和运行自定义模型。开发人员还可以编写自己的自定义ops，并在模型中使用。

(2)一种新的基于FlatBuffers的模型文件格式。

(3)MobileNet模型的量化版本，其运行速度比CPU上的非量化(浮点)版本快。

(4)更小的模型：当使用所有支持的运算符时，TFLite小于300KB，当仅使用支持InceptionV3和Mobilenet所需的运算符时，TFLite小于200KB。

(5)支持Java和C++接口

(6)提供一些pre-trained模型，例如mobileNets、Inception。

TensorFlow Lite的架构设计：

一、开发指南

在移动应用程序中使用TensorFlow Lite模型，分为三个以下步骤：

(1)选择预先训练或自定义模型；

这一步骤有三种选择模型的方式：a)使用pre-trained模型，例如mobileNets、Inception；b)在新的数据集上重新训练pre-trained模型；c)使用tf训练自定义的模型

(2)将模型转换为TensorFLow Lite格式；

TFLite Converter的支持输入：SavedModels，frozen graphs(由freeze_graph.py生成的模型)和tf.keras HDF5模型。输出文件为TFLite模型文件，部署到客户端(包括移动端或嵌入式设备)后，通过TFLite interpreter提供的接口使用TFLite模型文件。(具体转换过程见博文：TFLite模型转换过程)

(3)最后将模型集成到应用程序中。

Android端：由于Android应用程序是用Java编写的，而核心TensorFlow库是用C ++编写的，因此需要提供一个JNI库作为接口。(在Android端如何编写JNI库，以及将C++程序成封装.so文件，包括JNI基础、java与C++如何通过JNI来建立连接、.so封装的过程、makelist编写，具体见博文：Android studio 编写JNI库，封装成.so文件)

二 、TFLite接口

(1)C++接口

模型加载到FlatBufferModel对象中，然后由Interpreter类来执行。FlatBufferModel需要在Interpreter类的整个生命周期内保持有效，单个FlatBufferModel可以由多个Interpreter同时使用。具体而言，FlatBufferModel对象必须在使用它的任何Interpreter对象之前创建，并且必须保持至所有FlatBufferModel