Tensorflow Lite Android native层C/C++开发

最新推荐文章于 2024-04-06 10:03:52 发布
最新推荐文章于 2024-04-06 10:03:52 发布
阅读量3.1k 收藏 6
点赞数
分类专栏： TensorFlow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mandagod/article/details/88634495
版权

Tensorflow Lite Android C/C++

 

1， Tensorflow Lite Android NDK 编译编译native库

请参考文章Tensorflow源码编译。

libtensorflowlite_jni.so为native库，libtensorflowlite.jar所实现java接口，libtensorflowlite-native-header.jar为联系native和java层的JNI接口头文件。

Java的实现：

tensorflow/bazel-tensorflow/tensorflow/lite/java/src/main/java

native的实现：

tensorflow/bazel-tensorflow/tensorflow/lite/java/src/main/native

2，libtensorflowlite-native-header.jar

jar包里有如下头文件：

$ tree libtensorflowlite-native-header
libtensorflowlite-native-header
├── META-INF
│   └── MANIFEST.MF
├── org_tensorflow_lite_NativeInterpreterWrapper.h
├── org_tensorflow_lite_Tensor.h
└── org_tensorflow_lite_TensorFlowLite.h

（1) org_tensorflow_lite_TensorFlowLite.hz

版本号API和初始化Tensorflow Lite的API；

/*
 * Class:     org_tensorflow_lite_TensorFlowLite
 * Method:    version
 * Signature: ()Ljava/lang/String;
 */
JNIEXPORT jstring JNICALL Java_org_tensorflow_lite_TensorFlowLite_version
  (JNIEnv *, jclass);

/*
 * Class:     org_tensorflow_lite_TensorFlowLite
 * Method:    initTensorFlow
 * Signature: ()V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_TensorFlowLite_initTensorFlow
  (JNIEnv *, jclass);

Java_org_tensorflow_lite_TensorFlowLite_version在native/tensorflow_lite_jni.c和native/tensorflow_lite_jni.h中实现。

Java_org_tensorflow_lite_TensorFlowLite_initTensorFlow在native/init_tensorflow_jni.cc和native/init_tensorflow_jni.h中实现；调用了namespace tflite中的InitTensorFlow。

JNIEXPORT void JNICALL Java_org_tensorflow_lite_TensorFlowLite_initTensorFlow(
    JNIEnv* env, jclass clazz) {
  ::tflite::InitTensorFlow();
}

(2) org_tensorflow_lite_NativeInterpreterWrapper.h

主要为interpreter接口；

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    run
 * Signature: (JJ)Z
 */
JNIEXPORT jboolean JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_run
  (JNIEnv *, jclass, jlong, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    resizeInput
 * Signature: (JJI[I)Z
 */
JNIEXPORT jboolean JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_resizeInput
  (JNIEnv *, jclass, jlong, jlong, jint, jintArray);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getOutputDataType
 * Signature: (JI)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputDataType
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getOutputQuantizationZeroPoint
 * Signature: (JI)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputQuantizationZeroPoint
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getOutputQuantizationScale
 * Signature: (JI)F
 */
JNIEXPORT jfloat JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputQuantizationScale
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    allocateTensors
 * Signature: (JJ)J
 */
JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_allocateTensors
  (JNIEnv *, jclass, jlong, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getInputTensorIndex
 * Signature: (JI)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getInputTensorIndex
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getOutputTensorIndex
 * Signature: (JI)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputTensorIndex
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getInputCount
 * Signature: (J)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getInputCount
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getOutputCount
 * Signature: (J)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputCount
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getInputNames
 * Signature: (J)[Ljava/lang/String;
 */
JNIEXPORT jobjectArray JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getInputNames
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    getOutputNames
 * Signature: (J)[Ljava/lang/String;
 */
JNIEXPORT jobjectArray JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_getOutputNames
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    useNNAPI
 * Signature: (JZ)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_useNNAPI
  (JNIEnv *, jclass, jlong, jboolean);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    numThreads
 * Signature: (JI)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_numThreads
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    allowFp16PrecisionForFp32
 * Signature: (JZ)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_allowFp16PrecisionForFp32
  (JNIEnv *, jclass, jlong, jboolean);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    allowBufferHandleOutput
 * Signature: (JZ)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_allowBufferHandleOutput
  (JNIEnv *, jclass, jlong, jboolean);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    createErrorReporter
 * Signature: (I)J
 */
JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_createErrorReporter
  (JNIEnv *, jclass, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    createModel
 * Signature: (Ljava/lang/String;J)J
 */
JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_createModel
  (JNIEnv *, jclass, jstring, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    createModelWithBuffer
 * Signature: (Ljava/nio/ByteBuffer;J)J
 */
JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_createModelWithBuffer
  (JNIEnv *, jclass, jobject, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    createInterpreter
 * Signature: (JJI)J
 */
JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_createInterpreter
  (JNIEnv *, jclass, jlong, jlong, jint);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    applyDelegate
 * Signature: (JJJ)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_applyDelegate
  (JNIEnv *, jclass, jlong, jlong, jlong);

/*
 * Class:     org_tensorflow_lite_NativeInterpreterWrapper
 * Method:    delete
 * Signature: (JJJ)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_NativeInterpreterWrapper_delete
  (JNIEnv *, jclass, jlong, jlong, jlong);

nativeinterpreterwrapper_jni.c和nativeinterpreterwrapper_jni.h中实现了具体的接口。

（3）org_tensorflow_lite_Tensor.h

主要为Tensor相关的接口；

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    create
 * Signature: (JI)J
 */
JNIEXPORT jlong JNICALL Java_org_tensorflow_lite_Tensor_create
  (JNIEnv *, jclass, jlong, jint);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    delete
 * Signature: (J)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_Tensor_delete
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    buffer
 * Signature: (J)Ljava/nio/ByteBuffer;
 */
JNIEXPORT jobject JNICALL Java_org_tensorflow_lite_Tensor_buffer
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    writeDirectBuffer
 * Signature: (JLjava/nio/ByteBuffer;)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_Tensor_writeDirectBuffer
  (JNIEnv *, jclass, jlong, jobject);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    dtype
 * Signature: (J)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_Tensor_dtype
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    shape
 * Signature: (J)[I
 */
JNIEXPORT jintArray JNICALL Java_org_tensorflow_lite_Tensor_shape
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    numBytes
 * Signature: (J)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_Tensor_numBytes
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    hasDelegateBufferHandle
 * Signature: (J)Z
 */
JNIEXPORT jboolean JNICALL Java_org_tensorflow_lite_Tensor_hasDelegateBufferHandle
  (JNIEnv *, jclass, jlong);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    readMultiDimensionalArray
 * Signature: (JLjava/lang/Object;)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_Tensor_readMultiDimensionalArray
  (JNIEnv *, jclass, jlong, jobject);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    writeMultiDimensionalArray
 * Signature: (JLjava/lang/Object;)V
 */
JNIEXPORT void JNICALL Java_org_tensorflow_lite_Tensor_writeMultiDimensionalArray
  (JNIEnv *, jclass, jlong, jobject);

/*
 * Class:     org_tensorflow_lite_Tensor
 * Method:    index
 * Signature: (J)I
 */
JNIEXPORT jint JNICALL Java_org_tensorflow_lite_Tensor_index
  (JNIEnv *, jclass, jlong);

tensor_jni.cc和tensor_jni.h中实现了接口；

（4） libtensorflowlite_jni.so 的头文件

include目录顶层放入jni实现的头文件，直接可以来用，可以模仿JAVA的api封装使用JNI接口：

nativeinterpreterwrapper_jni.h 

tensorflow_lite_jni.h 

init_tensorflow_jni.h 

tensor_jni.h

此外，

tensorflow/lite 下的包含头文件的文件夹以及头文件都要拷贝到include目录中，

tensorflow/lite/tools/make/downloads/flatbuffers 下的头文件加入到include目录中，但是保持一定的路劲规则。

$ ls build/tensorflow-armv7a/output/include/
flatbuffers	tensorflow
$ ls build/tensorflow-armv7a/output/include/tensorflow/lite/
allocation.h		context_util.h		interpreter.h		nnapi_delegate.h	simple_memory_arena.h	version.h
arena_planner.h		core			kernels			op_resolver.h		stderr_reporter.h
builtin_op_data.h	delegates		memory_planner.h	optional_debug_tools.h	string.h
builtin_ops.h		error_reporter.h	model.h			profiling		string_util.h
c			experimental		models			python			testing
context.h		graph_info.h		mutable_op_resolver.h	schema			util.h

注：

tensorflow代码顶层路劲，还有

tensorflow/lite/tools/make/downloads 是否加入到需要的编译，目前还没有发现，有需要的话再补充。

mandagod
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
怎么将tflite部署在安卓上_tensorflow从训练自定义CNN网络模型到Android端部署tflite...
weixin_36481714的博客
12-24 408
网上有很多关于tensorflow lite在安卓端部署的教程，但是大多只讲如何把训练好的模型部署到安卓端，不讲如何训练，而实际上在部署的时候，需要知道训练模型时预处理的细节，这就导致了自己训练的模型在部署到安卓端的时候出现各种问题。因此，本文会记录从PC端训练、导出到安卓端部署的各种细节。欢迎大家讨论、指教。PC端系统：Ubuntu14tensorflow版本：tensroflow1.14安卓版...
Tensorflow lite 编译Android JNI C++ 动态链接库（步骤详细生动，还怕搞不定吗）
三川小哥 狂想曲
08-12 2233
目录1. 准备食材（荤菜）2. 准备食材（素菜）3. 磨刀（tensorflow编译依赖）4. 切菜5 热油（设置输出的内容）6. 炒菜了（编译）7 浇汤头，也叫勾芡（整理头文件）8. 上菜啦（整理进CMakeLists.txt中）9. 吃完了，别走，付钱呀 如果你想在Android上用JNI跑TensorFlow神经网络，就需要把TensorFlow Lite编译成C++的动态链接库。由于烹饪技法奇特，凡人非三五天难以编译出来。 本大厨历经艰辛，达到彼岸。今天把烹饪过程详述于此，以示后来者。（有问题留言共
Kears(TensorFlow2.2.0)在Android中部署(C++调用)
upup
11-01 1373
环境 系统:mac os TensorFlow·:2.2.0 注意本文步骤的运行环境，其他不同版本环境未测试，仅供参考。 TensorFlow Lite 指南 TensorFlow Lite 是一组工具，可帮助开发者在移动设备、嵌入式设备和 IoT 设备上运行 TensorFlow 模型。它支持设备端机器学习推断，延迟较低，并且二进制文件很小。 TensorFlow Lite 包括两个主要组件： TensorFlow Lite 转换器(converter)，它可将 TensorFlow 模型转换为高效形式
在C++上如何使用OpenCV头文件是什么_在Android中使用TFLite c++部署
weixin_39984105的博客
11-20 289
之前的文章中，我们跟大家介绍过如何使用NNAPI来加速TFLite-Android的inference（可参考使用NNAPI加速android-tflite的Mobilenet分类器）。不过之前介绍的文章，在进行模型加载和推断使用的是官方提供的预编译好的Jar文件，业务代码都通过Java进行编写。如果你想使用C++在native层进行业务代码的编写，你也可以参考本文的实现思路。跟之前专栏中介绍的框...
Android编译动态链接库,Tensorflow lite 编译Android JNI C++ 动态链接库（步骤详细生动，还怕搞不定吗）...
weixin_35618196的博客
05-29 436
目录1. 准备食材(荤菜)2. 准备食材(素菜)3. 磨刀(tensorflow编译依赖)4. 切菜5 热油(设置输出的内容)6. 炒菜了(编译)7 浇汤头，也叫勾芡(整理头文件)8. 上菜啦(整理进CMakeLists.txt中)9. 吃完了，别走，付钱呀如果你想在Android上用JNI跑TensorFlow神经网络，就需要把TensorFlow Lite编译成C++的动态链接库。由于烹饪技法...
构建适合andriod的tensorflow lite
qq_42265774的博客
07-14 382
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 构建适合andriod的tensorflow lite前言一、环境配置二、使用步骤1、配置build2、运行常见问题 前言 在vm中安装ubun18.0.4进行编译，在tensorflow转化为tersorflow lite时，如果其中包含选择运算符要通过tensorflow的源代码构建tensorflow-lite.aar和tensorflow-lite-select-tf-ops.aar 一、环境配置 1、下载tensorflo
tflite-react-native：用于TensorFlow Lite的React Native库
02-05
目录安装$ npm install tflite-react-native --save iOS（仅） 使用CocoaPods安装TensorFlow Lite： 初始化Pod： cd iospod init打开Podfile并添加： target '[your project's name]' dopod 'TensorFlowLite', '...
Android上编译好的Tensorflow.zip
最新发布
04-16
这通常涉及设置Android NDK（Native Development Kit），这是一个用于在Android设备上开发原生C/C++代码的工具集。NDK允许开发者利用TensorFlow的C++接口，为Android平台创建高性能的机器学习应用。 在编译过程中，...
Android平台人脸识别源代码
06-08
3. **JNI（Java Native Interface）**：由于Android的Java层可能无法提供高性能的计算能力，人脸识别的某些部分可能使用了C++编写，通过JNI与Java层进行交互，以提高运行效率。 4. **OpenCV库**：OpenCV是一个跨...
tensorflow Github安卓源码
08-07
3. **JNI（Java Native Interface）**：Android应用通常通过JNI与C++库交互，源码中会包含如何通过JNI调用TensorFlow C++ API并从Java层传递数据的示例。 4. **模型优化**：TensorFlow Lite支持模型量化，即用低...
Android-TensorFlowAndroidDynamic-动态加载tensorflowso和PB文件
08-13
这些库文件包含了TensorFlow的C++接口，供Java层通过JNI（Java Native Interface）调用。动态加载.so文件可以减少APK的大小，因为用户只需下载他们需要的特定模型，而不是整个库。 加载.so库的过程通常包括以下步骤...
TensorFlow Lite 在安卓开发中的应用及其关键组件研究
wlred1980的博客
04-06 921
随着移动设备计算能力的增强和人工智能技术的发展，Google 推出的 TensorFlow Lite 成为了在安卓平台上实现本地机器学习模型部署的重要工具。本文旨在全面探讨 TensorFlow Lite 在安卓开发中的角色、优势与局限性，分析其典型应用场景，并通过实例代码展示其使用方式，同时介绍与其相关的关键组件和工具。
从零开始在Windows上构建Android版的Tensorflow Lite
schoene的博客
01-25 957
在Windows上用CMake和NDK来构建Android版本的Tensorflow Lite。对构建中遇到的常见问题进行了分析和解决。
Android TensorFlowLite sdk接入详细记录
weixin_34055787的博客
07-09 212
前言 最近在研究ML的相关内容，开始在Android应用中接入TensorFlowLite。花了不少时间，添了不少坑，如果是裸的空项目接入还好，如果是现有的线上产品的接入，还是会有不少问题需要处理的，而且过程中，很多错误，网上的结论都是错误的，这个流程是我手把手一步步走的~亲测靠谱 先看效果 接入sdk 开始只是以为简单的接入TensorF...
tensorflow模型部署系列————嵌入式(c/c++ android)部署（附源码）
热门推荐
gdyshi的博客
07-10 1万+
摘要 本文为系列博客tensorflow模型部署系列的一部分，用于实现通用模型的部署。本文主要实现用tflite接口调用tensorflow模型进行推理。相关源码见链接 引言 本文为系列博客tensorflow模型部署系列的一部分，用于tflite实现通用模型的部署。本文主要使用pb格式的模型文件，其它格式的模型文件请先进行格式转换，参考tensorflow模型部署系列————预训练模型导出。从...
TFLite: C++中的常用语法
u011279649的专栏
10-22 1618
什么是RAII？ RAII是Resource Acquisition Is Initialization（wiki上面翻译成 “资源获取就是初始化”）的简称，是C++语言的一种管理资源、避免泄漏的惯用法。利用的就是C++构造的对象最终会被销毁的原则。RAII的做法是使用一个对象，在其构造时获取对应的资源，在对象生命期内控制对资源的访问，使之始终保持有效，最后在对象析构的时候，释放构造时获取的资源...
TfLite: 一些C++特性
u011279649的专栏
11-02 856
1.std::unique_ptr #include <iostream>   void someFunction() {     Resource *ptr = new Resource;     int x;     std::cout << "Enter an integer: ";     std::cin >> x;     if (x == 0)  ...
TFLite: 包含的c/c++头文件
u011279649的专栏
05-07 1598
#include <cstdio> cstdio是将stdio.h的内容用C++头文件的形式表示出来。stdio.h是C标准函数库中的头文件，即：standard buffered input&output。 提供基本的文字的输入输出流操作（包括屏幕和文件等）。 由于C语言并没有提供专用于文字输入输出的关键字，所以该库是最普遍的C语言程序加载库。 在C语言中，stdio.h...
TFLite: 控制不参与 android编译的方法
u011279649的专栏
09-09 282
$(info Skipping Android.mk under $(call my-dir)) # Empty content Android.mk to step Android build # system from scanning deeper into subdirectories # for Android.mk's # # This file will be linked fro...
tensorflow lite android
03-16
TensorFlow Lite是一种轻量级的TensorFlow库，专门用于在移动设备和...TensorFlow Lite可以将训练好的模型转换为适合移动设备的格式，并提供了一些工具和API，使得在Android设备上部署和运行机器学习模型变得更加容易。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值