【Tensorflow教程笔记】TensorFlow Lite

本文是TensorFlow教程笔记,重点讲解TensorFlow Lite的模型转换和Android部署。介绍了模型转换的Python API,包括Float和Quantized模型的转换,并详细阐述了Android部署的步骤,包括配置build.gradle,加载模型,运行输入和输出。最后,对比了Float和Quantized模型的性能差异。
摘要由CSDN通过智能技术生成

Tensorflow教程笔记

  1. 基础
    TensorFlow 基础
    TensorFlow 模型建立与训练
    基础示例:多层感知机(MLP)
    卷积神经网络(CNN)
    循环神经网络(RNN)
    深度强化学习(DRL)
    Keras Pipeline
    自定义层、损失函数和评估指标
    常用模块 tf.train.Checkpoint :变量的保存与恢复
    常用模块 TensorBoard:训练过程可视化
    常用模块 tf.data :数据集的构建与预处理
    常用模块 TFRecord :TensorFlow 数据集存储格式
    常用模块 tf.function :图执行模式
    常用模块 tf.TensorArray :TensorFlow 动态数组
    常用模块 tf.config:GPU 的使用与分配

  2. 部署
    TensorFlow 模型导出
    TensorFlow Serving
    TensorFlow Lite

  3. 大规模训练与加速
    TensorFlow 分布式训练
    使用 TPU 训练 TensorFlow 模型

  4. 扩展
    TensorFlow Hub 模型复用
    TensorFlow Datasets 数据集载入

  5. 附录
    强化学习基础简介


TensorFlow Lite 是 TensorFlow 在移动和 IoT 等边缘设备端的解决方案,提供了 Java、Python 和 C++ API 库,可以运行在 Android、iOS 和 Raspberry Pi 等设备上。2019 年是 5G 元年,万物互联的时代已经来临,作为 TensorFlow 在边缘设备上的基础设施,TFLite 将会是愈发重要的角色。

目前 TFLite 只提供了推理功能,在服务器端进行训练后,经过如下简单处理即可部署到边缘设备上。

  • 模型转换:由于边缘设备计算等资源有限,使用 TensorFlow 训练好的模型,模型太大、运行效率比较低,不能直接在移动端部署,需要通过相应工具进行转换成适合边缘设备的格式。
  • 边缘设备部署:本节以 android 为例,简单介绍如何在 android 应用中部署转化后的模型,完成 Mnist 图片的识别。

模型转换

转换工具有两种:命令行工具和 Python API

TF2.0 对模型转换工具发生了非常大的变化,推荐大家使用 Python API 进行转换,命令行工具只提供了基本的转化功能。转换后的原模型为 FlatBuffers 格式。 FlatBuffers 原来主要应用于游戏场景,是谷歌为了高性能场景创建的序列化库,相比 Protocol Buffer 有更高的性能和更小的大小等优势,更适合于边缘设备部署。

转换方式有两种:Float 格式和 Quantized 格式

为了熟悉两种方式我们都会使用,针对 Float 格式的,先使用命令行工具 tflite_convert ,其跟随 TensorFlow 一起安装。

在终端执行如下命令:

tflite_convert -h

输出结果如下,即该命令的使用方法:

usage: tflite_convert [-h] --output_file OUTPUT_FILE
                      (--saved_model_dir SAVED_MODEL_DIR | --keras_model_file KERAS_MODEL_FILE)
  --output_file OUTPUT_FILE
                        Full filepath of the output file.
  --saved_model_dir SAVED_MODEL_DIR
                        Full path of the directory containing the SavedModel.
  --keras_model_file KERAS_MODEL_FILE
                        Full filepath of HDF5 file containing tf.Keras model.

TensorFlow 模型导出 中,我们知道 TF2.0 支持两种模型导出方法和格式 SavedModel 和 Keras Sequential。

SavedModel 导出模型转换:

tflite_convert --saved_model_dir=saved/1 --output_file=mnist_savedmodel.tflite

Keras Sequential 导出模型转换:

tflite_convert --keras_model_file=mnist_cnn.h5 --output_file=mnist_sequential.tflite

到此,已经得到两个 TensorFlow Lite 模型。因为两者后续操作基本一致,我们只处理 SavedModel 格式的,Keras Sequential 的转换可以按类似方法处理。

Android 部署

现在开始在 Android 环境部署,为了获取 SDK 和 gradle 编译环境等资源,需要先给 Android Studio 配置 proxy 或者使用镜像。

配置 build.gradle

build.gradle 中的 maven 源 google()jcenter() 分别替换为阿里云镜像地址,如下:

buildscript {
   

    repositories {
   
        maven {
    url 'https://maven.aliyun.com/nexus/content/repositories/google' }
        maven {
    url 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值