Tensorflow模型优化 端侧部署 tflite 量化 稀疏 quantization sparsity

最新推荐文章于 2022-10-24 06:30:00 发布
最新推荐文章于 2022-10-24 06:30:00 发布
阅读量705 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： tensorflow 深度学习 嵌入式 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45175218/article/details/113361667
版权

Tensorflow模型优化

文章目录


模型优化官方页面说明

在这里插入图片描述

感谢TFLITE中文兴趣小组干货满满的分享。本博客为分享内容的整理，供大家参考，欢迎批评指正。

首先我们要回答一个问题：

为什么要模型优化

官方页面开宗明义，分享开门见山

首先回答的就是为什么要模型优化：

在端侧部署部署我们不得不考虑端侧设备在算力、内存、耗电量、网络带宽和模型存储空间方面存在限制。模型优化核心解决的就是部署和执行的问题。（大佬的PPT很简洁但是直切重点）
在这里插入图片描述

而Tensorflow 模型优化工具包就是这样一套工具。

  • 降低云和边缘设备（例如移动设备和 IoT 设备）的延迟时间和推断成本。
  • 将模型部署到边缘设备，这些设备在处理、内存、耗电量、网络连接和模型存储空间方面存在限制。
  • 在现有硬件或新的专用加速器上执行模型并进行优化。

这里的“优化”，个人认为一方面是基于硬件支持限制的”无奈之举“。（边缘设备——不得不作）

另一方面是对更低延迟的追求。（服务器——锦上添花）

“优化”理解为“改造”更为贴切一点。综合算力、内存、耗电量、网络带宽和模型存储空间等方面限制的一个改造。

”改造“（模型改造）往往是以牺牲模型精度为代价的，不同的优化方式精度的损失不同，如何决定优化方式就是平衡的艺术，需要针对项目本身。

ps：

比如在工业检测这个对模型精度和模型延迟要求都比较较高的场景，我们在优化中，不得不考虑在降低延迟的同时也要保证模型精度在合适水平。

一个典型的（tradeoff problem）

端侧部署

模型优化方式

模型优化常用的两种方式

  • Quantization

    降低模型精度

  • Sparsity

    减少模型连接

模型蒸馏，因为难以普遍化到各种任务，需要case-by-case的调试，所以没有特别好的工具支持，比较看应用场景

Quantization

深度学习模型中的主要就是矩阵运算

量化的思路很简单，就是将32位的float数映映射到8位的int数区间中，将float操作替换为int 的操作

而映射本质就是一个线性变换。

在这里插入图片描述

但是我们接着去想，就会发现新的问题，就是8位int数在运算之后，会得到一个16位，32位的数。

在这里插入图片描述

而运算结果向前传播到下一个算子时，算子要求为8位int输入。

所以rescale是模型量化中不可少的工作，而这个scale操作可以理解为，我们在原有模型基础上加了scale操作，对模型结构的小修改，在前向传输过程中增加了一个scale算子。

大家细看前后两张图的对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
在这里插入图片描述

在这里插入图片描述

这是一个有损的变换，优化本身改变了模型，改变的内容上面都有提到就不多赘述

在这里插入图片描述

CPU上可以混合整型和浮点型设备。但是DSP设备如果不能全部转为整形操作，那么就无法运行模型。回到开头所提到的就是——硬件支持限制的**”无奈之举“**

难点

  • 模型量化优化，精度损失的如何产出和解释性是一个难的问题。
  • 量化过程本身需要数据（比如动态数据范围的确定）

在这里插入图片描述
在这里插入图片描述

工具包支持
32 bit float ->16 bit float

GPU推荐和普遍，目前CPU不支持，未来会。

● Reducedfloat

○ float16 parameters

○ float16 computations

混合优化

只量化常量的tensor，动态的保留，一般只应用在CPU中

● Hybrid quantization

○ 8-bit integer weights
○32-bit float biases &activations
○ Integer and floating point computations

整形优化

全部都是8bit，精度损失比较大。不推荐，笔者自己开始尝试过，最后精度损失劝退。一定要自己evaluate。

● Integer quantization

○ 8-bit integer weights

○ 8 & 16-bit biases &activations

○ Only integer computations

Post-training API
32 bit float ->16 bit float

GPU推荐和普遍，目前CPU不支持，未来会。

在这里插入图片描述

混合量化

只量化常量的tensor，动态的保留，一般只应用在CPU中

在这里插入图片描述

整形量化

全部都是8bit，精度损失比较大。不推荐，笔者自己开始尝试过，最后精度损失劝退。一定要自己evaluate。

在这里插入图片描述

During training API

针对Interger-only quantization

这个非常灵活，非常的黑科技。大家有兴趣，可以自己去看，就不作赘述。

可以整体量化，可以只量化某一层，可以自定义。

如何选择合适的量化方式

见以下表格

但都是一些general的建议，具体情况还是要具体分析，需要自己evaluate。

在这里插入图片描述

Sparsity

通过模型剪枝技术删掉模型中不必要的连接。

首先简单介绍一下模型剪枝

简单的说就是

先排序 再置0

在这里插入图片描述

工具包支持

非常友好，只需要定义一个剪枝的schedule，指定什么时候开始，什么时候结束，最后的稀疏度就可以。

注意block_size这个参数，在CPU上加速一般需要有一定的结构。

在这里插入图片描述

没有structure的全稀疏的加速比较困难

目前是experimental阶段

在这里插入图片描述

目前对稀疏模型的支持

在这里插入图片描述

run_session
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TfLite: model Post-training quantization(生成量化模型和部署)
u011279649的专栏
01-02 4231
Post-training quantization的方法 tensorflow lite model 的quantization的方法有两种： “hybrid” post training quantizationandpost-training integer quantization “hybrid” post training quantizationapproach red...
使用 TFLite 在移动设备上优化与部署风格转化模型
我爱计算机视觉
05-25 1096
文 / Khanh LeViet 和 Luiz Gustavo Martins，技术推广工程师风格转化(Style Transfer) 是一种优化技术，用于采集两张图像，一张内容图像（...
模型轻量化方法之----神经网络稀疏
qq_33892106的博客
07-23 2403
稀疏 本人尝试过的稀疏算法有限，目前尝试过阈值稀疏和admm稀疏方式，在此做一小结。 日后若有别的这方面尝试，会继续加。 阈值稀疏 简言之，就是将绝对值小的值置为零。 这里细分还可以分为 按层（per-layer） 和 按通道（per-channel） 随机初始化再稀疏比pretrain后稀疏效果好 admm稀疏 ...
模型量化原理及tflite示例
tugouxp的专栏
02-23 1061
什么是量化 模型的weights数据一般是float32的，量化即将他们转换为int8的。当然其实量化有很多种,主流是int8/fp16量化,其他的还有比如 二进制神经网络：在运行时具有二进制权重和激活的神经网络，以及在训练时计算参数的梯度。 三元权重网络：权重约束为+1,0和-1的神经网络 XNOR网络：过滤器和卷积层的输入是二进制的。 XNOR 网络主要使用二进制运算来近似卷积。现在很多框架或者工具比如nvidia的TensorRT，xilinx的DNNDK，TensorFlow，PyTorch
深入讲解TensorFlow模型优化工具包
@bangbang的博客
06-12 531
`TensorFlow Model Optimization Toolkit`是一套用于优化ML模型的工具，用于部署和执行。在许多用途中，该工具包支持的技术有如下使用: - 降低云和边缘设备(如移动、物联网)的延迟和t推理成本。 - 将模型部署到对处理、内存、功耗、网络使用和模型存储空间有限制的边缘设备。 - 支持对现有的硬件或加速器运行和优化。 ...
模型优化：用于优化ML模型以部署到Keras和TensorFlow的工具套件，包括量化和修剪
02-03
TensorFlow模型优化工具包TensorFlow模型优化工具包是一套工具，新手和高级用户都可以使用它们来优化机器学习模型以进行部署和执行。 支持的技术包括量化和修剪稀疏权重。 有专门为Keras构建的API。 有关该项目和...
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
Tensorflow-Neural-Network-Quantization:评估量化技术对神经网络推理时间影响的项目
05-17
Tensorflow神经网络量化这是2017-2018年高级计算机架构课程@PoliMi的学校项目。 请注意，存储库还包含数据集和所有模型文件。 您可以在这些笔记本上查看MNIST模型评估的主要结果： ， 还提供CIFAR-10模型的评估： ，...
frlvq.rar_Vector Quantization_矢量量化
07-14
图像矢量量化的FRLVQ算法matlab程序
ModelQuantization模型量化.zip
03-27
1，神经网络和卷积神经网络模型量化方法，主要包括线性量化和聚类量化两种方法。 2，可指定模型进行定点话，并输出量化后参数统计和finetune，可设置任意bit量化。 3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,...
卷积网络的稀疏与量化
陶将的博客
08-12 4105
存在多种方法能够降低CNN的复杂度，早先的方法有用可分的卷积代替不可分的卷积，这种方法提速4.5x，精度降低1%，这种方法的缺点是需要更改网络架构，将一层拆分成水平和垂直的过滤器；还有一种能够不更改网络架构也能稀疏卷积的算法，这种算法在训练过程中定义高的权重衰减，当权重的绝对值低于预先定义的阈值时，二值化为0。固定为0的参数，fine-tune非0的参数，以此来恢复因稀疏降低的准确率；将浮点精度的系数量化为Dynamic 8比特的顶点也是一种有效的方法。
tensorflow2.0 Post-training quantization
Chown先森
12-25 2926
因为tensorflow2.0版本对比tensorflow1.0版本变化较大，所支持的量化方式方法都有所改变，所以重新写一篇文档记录。 先附上官方文档： https://www.tensorflow.org/lite/performance/post_training_quantization?hl=en 因为tf2.0已经不更新aware-quantization，所以这篇文章重点简...
机器学习笔记 - TensorFlow Lite设备端机器学习的模型优化
学以致用 知行合一
10-24 825
TensorFlow Lite 是一组工具，可帮助开发人员在移动、嵌入式和边缘设备上运行模型，从而实现设备上机器学习。TensorFlow Lite（简称 TF Lite）是一个开源的跨平台框架，它通过使模型能够在移动、嵌入式和物联网设备上运行来提供设备端机器学习。有两种方法可以生成 TensorFlow Lite 模型：1、将 TensorFlow 模型转换为 TensorFlow Lite 模型。2、从头开始创建 TensorFlow Lite 模型。
卷积网络的block_卷积网络的稀疏与量化
weixin_39565777的博客
12-16 328
论文: Sparse, Quantized, Full Frame CNN for Low Power Embedded Devices​openaccess.thecvf.comgithub:tidsp/caffe-jacinto​github.comAI爆发的三个条件，算法，算力和数据。深度学习对算力要求极高，如果没有一块性能良好的GPU，那么模型训练和调参将是一件耗时的工作，严重拖慢工作进度...
稀疏编码(Sparse Coding)的前世今生(三)
热门推荐
计算机视觉、机器学习朝拜者
06-06 1万+
稀疏编码(sparse coding)和低秩矩阵(low rank)的区别        上两个小结介绍了稀疏编码的生命科学解释，也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了，今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后，出现了很多应用，比如计算视觉领域的图像去噪，去模糊，物体检测，目标识别和互联网领域的推荐系统（Collabora
TensorFlow Lite(1) :针对边缘端的机器学习模型优化
@bangbang的博客
05-05 1611
近年来，倾向于开发更复杂的深度学习模型从而提高模型的准确性，但这也导致了模型计算资源消耗和广泛可用性的问题，因为我们不能在资源受限的设备(如移动设备和嵌入式设备)上使用如此巨大的模型。这是否意味我们必须使用更轻量化的模型，即使精度有所下降?是否有可能在智能手机或树莓派(Raspberry Pi)甚至微控制器等设备上部署这些复杂的模型呢? 使用TensorFlow Lite优化模型是这些问题的答案。这篇博文将全面介绍TF Lite。您将学习各种支持的模型优化，并分析优化后的模型在边缘设备上的性能。本博客是Te
【Tensorflow】keras模型预测+keras模型转tflite模型(post-training模型量化)+tflite模型预测+对比量化模型和原始模型的推理速度和文件大小
LeonJin的博客
02-04 3351
本文python程序在在tensorflow2.4.1上运行，CUDA11.0，cuDNN8.0.5 之前已经在keras上用多种数据输入方式训练得到keras模型 【Tensorflow】训练keras模型+keras的数据生成器ImageDataGenerator+jpg图像数据格式的MNIST数据集+对比flow和flow_from_directory 【Tensorflow】训练keras模型+tensorflow-V2的数据集tf.data.Dataset+jpg图像.
tflite的坑——tensorflow模型落地中遇到的
NLP与推荐算法
11-04 2126
感谢@逸羿 大佬。 https://stackoverflow.com/questions/48223347/building-tensorflow-lite-demo-source-issue https://stackoverflow.com/questions/56256478/converted-model-tflite-does-not-encode-a-valid-tensorf...
tflite模型测试
NLP与推荐算法
10-11 3086
tflite模型和pb一样都需要测试，仅仅转换成功只是其中的一步，如果测试结果很差劲，就有可能转换过程中有问题，这个问题就多了，比如模型问题、有些Op问题、UNIT8/FLOAT问题，不可预知。无论哪个环节出现问题，都有可能需要重头再来！！比如换模型，后果不堪设想。 我之前提到过，这里也再说一次，目前tf RNN尚不能直接转为tflite，只有按照官方给的trick才可以，GRU是死都不能转的。...
tensorflow 模型int8 量化
最新发布
06-09
TensorFlow支持使用tf.quantization API实现整数量化。整数量化是将浮点数权重和激活值转换为定点整数表示的过程，可以减小模型的存储和计算开销，加速模型在硬件上的执行。 整数量化有两种方式：对称量化和非对称量化。对称量化将权重和激活值都量化到相同的范围内，通常以0为中心。非对称量化将权重和激活值量化到不同的范围内，通常以权重的最大值为界限。 整数量化需要在训练完成后进行，可以使用TensorFlow提供的tf.quantization API对已有的模型进行量化。量化后的模型可以使用TensorFlow Lite进行转换，以在移动设备上进行部署。 具体的量化方法和参数设置需要根据具体的模型和应用场景进行调整。可以参考TensorFlow官方文档和代码示例进行学习和实践。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值