tensorflow2.x中的量化感知训练以及tflite的x86端测评

最新推荐文章于 2024-05-14 20:00:06 发布
最新推荐文章于 2024-05-14 20:00:06 发布
阅读量292 收藏
点赞数
分类专栏： 模型优化和压缩 文章标签： tensorflow 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37870649/article/details/125946024
版权

tensorflow2.x中的量化感知训练以及tflite的x86端测评_BIT_Legend的博客-CSDN博客_tensorflow 量化感知训练tensorflow 2.x的模型训练结束后一般保存为.h5或save_model的模型格式(只能是fp32格式)，如果模型想要部署在移动端，一般需要将模型转换为.tflite格式，这里又分为动态格式、fp32格式、fp16格式和int8格式的tflite【1】。一般而言，如果直接将fp32的h5转换为int8格式的tflite会存在精度下降，为了尽量减少转换过程中的精度下降，可选的方式是在转换前对模型进行量化感知训练。具体办法是在权重保持fp32的情况下，按照int8量化的需求进行训练，之后再正式进行inhttps://blog.csdn.net/BIT_Legend/article/details/122266428

a flying bird
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow_object_detection_tflite:这是用于在x86和arm64上使用c ++训练和实现mobilenet-ssd v2到tflite的回购
05-09
系统环境： 系统：Ubuntu 18.04 OpenCV：OpenCV3.2 Tensorflow：1.13.1 说明： mobilenet-ssdv2培训说明 将图像转换为tf.record 在路径model / research / object_detection / mobilenet_ssd_v2_train / dataset /下写入label.pbtxt，格式如下： item { id: 1 name: 'person' } item { id: 2 name: 'car' } 通过模型datatool api将yout图像和注释转换为tfrecord。 命令： cd models/research/ export PYTHONPATH=$PYTHONPATH:path to /models/researc
深度学习 10 tf2模型转tflite，并进行权重量化
a486259的博客
07-26 846
# -*- coding: utf-8 -*- import tensorflow as tf import numpy as np import glob,os,cv2 # 生成代表性数据集 def get_representative_dataset(): img_dir = r"数据" img_ext = ".bmp" img_paths = glob.glob(os.path.join(img_dir, '*' + img_ext)) for path in im.
tflite模型测试
NLP与推荐算法
10-11 3068
tflite模型和pb一样都需要测试，仅仅转换成功只是其中的一步，如果测试结果很差劲，就有可能转换过程中有问题，这个问题就多了，比如模型问题、有些Op问题、UNIT8/FLOAT问题，不可预知。无论哪个环节出现问题，都有可能需要重头再来！！比如换模型，后果不堪设想。 我之前提到过，这里也再说一次，目前tf RNN尚不能直接转为tflite，只有按照官方给的trick才可以，GRU是死都不能转的。...
深度学习：pc端测试tflite模型
weixin_42565090的博客
04-23 1239
本文主要提供一种在PC端测试 .tflite模型方法。
tflite2onnx:将TensorFlow Lite模型（* .tflite）转换为ONNX
05-03
tflite2onnx将TensorFlow Lite（TFLite）模型（ *.tflite ）转换为ONNX模型（ *.onnx ），并正确处理了数据布局和量化语义（有关详细信息，请*.onnx）。 强调 如果您想将TensorFlow模型（冻结图*.pb ， SavedModel...
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果...3. 加入torch的量化感知API，训练一个QAT模型; 4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
tflite2tensorflow:从.tflite生成saved_model，tfjs，t​​f-trt，EdgeTPU，CoreML，量化的tflite，ONNX，OpenVINO，无数推理引擎blob和.pb。支持使用Docker构建环境
03-20
tflite2tensorflow从.tflite生成saved_model，tfjs，t​​f-trt，EdgeTPU，CoreML，量化的tflite，ONNX，OpenVINO，无数推理引擎blob和.pb。 1.支持的图层不。 TFLite层TF层评论1个CONV_2D tf.nn.conv2d 2个...
量化加速-基于Pytorch+TVM进行低精度+混合精度的量化感知训练-附项目源码-优质项目实战.zip
05-11
量化加速_基于Pytorch+TVM进行低精度+混合精度的量化感知训练_附项目源码_优质项目实战
TFLite-Tester：示例项目展示了我们如何比较TensorFlow和TensorFlow Lite模型
02-04
并排比较TF和TF Lite模型（包括训练后量化） 使用Espresso库在Android应用程序上运行自动化测试。 有关更多详细信息，请检查： 博客文章（在Colab笔记本中进行）： 博客文章（在Android仪器测试中进行测试）： ...
没有硬件，也可以运行与测试 TFLite 应用
云水木石
06-18 1143
提到人工智能和机器学习（Marchine Learning，ML），你的脑海里是否立即会浮现计算中心、高端 GPU、成百上千的 TPU 等等。实际上，随着嵌入式设备、移动终端以及近年来物...
如何在PC端测试转换后的TFLite模型
DvLee
06-30 5336
上篇讲述如何把tensorflow模型转换成tflite模型，用于部署到移动端。 这篇分享如何在PC端对tflite模型进行预测，测试模型是否可用 首先，加载tflite模型，查看模型的输入输出 import numpy as np import tensorflow as tf import cv2 # Load TFLite model and allocate tensors. inter...
PC端调用.tflite
工科女的博客
10-28 637
手机端调用tflite成功后，为了验证手机端调用的正确性（因为向我上一篇文章讲的，可能出现分类结果都一样的情况），所以我就查询了一下，是否可以在pc端验证一下，然后发现，果然可以在python中运行； 下面给出代码： # -*- coding:utf-8 -*- import os os.environ["CUDA_VISIBLE_DEVICES"] = "-1" import numpy as np import time import tensorflow as tf test_data...
.tflite在PC端的检测程序，python实现
babytiger的专栏
05-17 1698
# -*- coding:utf-8 -*- import os os.environ["CUDA_VISIBLE_DEVICES"] = "-1" import numpy as np import time from keras.preprocessing import image import tensorflow as tf from keras.applications.image...
人脸检测模型_使用tflite模型进行人脸检测，没有扑火声
weixin_26704853的博客
09-16 1682
人脸检测模型In this article, we will see how to detect faces using Tensorflow models without using libraries like Firebase in Flutter, the process is based on the BlazeFace model, a lightweight and well-per...
tensorflow 21：用python转换tflite模型并在PC上调用
热门推荐
yuanlulu的博客
01-04 2万+
概述 想玩玩tflite，无奈对android开发环境不熟。经过搜索找到了在PC上python下调用tflite模型的方法。 环境 python3.6 tf-nightly 1.13 win10 64位 i7 8550U 制作frozen模型 模型制作参考前面的一篇博客《tensorflow 20：搭网络、导出模型、运行模型》。主要就是两层卷积和两层全连接用来识别mnist数据集，保存为fro...
tflite 可视化
qq_35649072的博客
12-04 1081
问题来源： 当我将要检查对比的两个tflite拷贝到和visualize.py同一个文件夹下面，并执行python visualize.py tflite.tflite tflite.html后遇到下图的报错： 回到源代码49行发现，原来C:\Users\iwtba\Downloads\tensorflow-master\third_party\flatbuffers下面确实没有fla...
介绍 TensorFlow 的基本概念和使用场景
最新发布
雪精灵的专栏
05-14 333
总之，TensorFlow在机器学习和人工智能领域具有广泛的应用，它提供了丰富的功能和工具，帮助开发者构建和训练各种复杂的模型。自然语言处理：TensorFlow提供了一些用于处理文本数据的工具和模型，可以用于实现文本分类、情感分析、机器翻译等任务。计算机视觉：TensorFlow提供了一些用于处理图像数据的工具和模型，可以用于实现图像分类、物体检测、图像生成等任务。一般用于训练过程中。强化学习：TensorFlow提供了一些用于实现强化学习算法的工具和模型，可以用于培训智能体来完成特定的任务。
TensorFlow和PyTorch的对比
Keep trying, keep going
05-11 319
TensorFlow和PyTorch是两个流行的深度学习框架，用于构建和训练神经网络模型。它们在许多方面都有相似之处，但也有一些重要的区别。综上所述，TensorFlow和PyTorch都是强大而灵活的深度学习框架，选择哪个框架取决于个人偏好、项目需求和团队经验。
使用tensorflow2.3训练数字识别模型并量化为tflite后部署到openMV上
07-10
对于使用TensorFlow 2.3训练数字识别模型并将其量化为TFLite，然后部署到OpenMV上，你可以按照以下步骤进行操作： 1. 数据集准备：收集和准备用于数字识别的图像数据集。确保数据集具有适当的标签和类别。 2. 模型训练：使用TensorFlow 2.3构建和训练适合数字识别的模型，例如卷积神经网络（CNN）。确保在训练过程中使用适当的评估指标和优化算法。 3. 模型量化：在训练完成后，将训练好的模型量化为TFLite格式。TFLite是一种针对移动和嵌入式设备的轻量级模型表示形式。 ```python import tensorflow as tf # 加载训练好的模型 model = tf.keras.models.load_model('trained_model.h5') # 量化模型 converter = tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations = [tf.lite.Optimize.DEFAULT] tflite_model = converter.convert() # 保存量化后的模型 with open('quantized_model.tflite', 'wb') as f: f.write(tflite_model) ``` 4. OpenMV准备：确保你已经按照OpenMV官方文档的指导，设置并准备好OpenMV开发环境。 5. 部署到OpenMV：将量化后的TFLite模型部署到OpenMV上进行推理。可以使用OpenMV的MicroPython编程语言进行开发。 - 将`quantized_model.tflite`文件复制到OpenMV设备上，例如SD卡。 - 在OpenMV上编写MicroPython代码，加载模型并进行推理。 ```python import sensor import image import lcd # 初始化OpenMV模块 sensor.reset() sensor.set_pixformat(sensor.RGB565) sensor.set_framesize(sensor.QVGA) sensor.run(1) # 加载TFLite模型 import tf model = tf.load('quantized_model.tflite') # 进行推理 while True: img = sensor.snapshot() # 对图像进行预处理 # ... # 进行推理 output = model.forward(img) # 处理推理结果 # ... ``` 这个过程中，你需要根据你的具体需求和OpenMV设备的要求进行适当的调整和修改。上述步骤仅供参考，你可以根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值