谷歌量化白皮书—PTQ原理

已于 2024-04-18 23:57:26 修改
阅读量191 收藏 2
点赞数 1
分类专栏： 量化 文章标签： 学习
于 2024-04-18 22:56:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/t765833631/article/details/137940982
版权
本文探讨了量化方法在深度学习中的重要性，涉及量化粒度的选择、激活层的量化策略，如基于BN的范围设置，以及深度可分离卷积与ReLU6的优势。此外，还介绍了标准的参数量化流程（PTQ）和如何诊断模型精度及定位性能瓶颈。
摘要由CSDN通过智能技术生成

本篇笔记摘抄的原文链接

量化方法

量化粒度

量化模拟

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

激活层的量化

量化硬件原理

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

量化范围的设置方法

在这里插入图片描述

基于BN的激活层量化范围设置

在这里插入图片描述

普通卷积 VS 深度可分离卷积

在这里插入图片描述

跨层均衡化

在这里插入图片描述

ReLU6比ReLU有什么优势

在这里插入图片描述

吸收高偏差、偏差校正、自适应取整

标准PTQ流程

在这里插入图片描述

量化模型精度的诊断和性能瓶颈定位方法

在这里插入图片描述

在这里插入图片描述

BevDet的PTQ量化代码
11-26
1. 环视BEV 3D目标检测算法int8量化2. BevDet的PTQ int8 量化，精度几乎无损
【1】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
Just_do_myself的博客
04-23 9460
2021 Google模型量化白皮书
Google~深度神经网络量化白皮书
whaosoft143ai的博客
11-28 300
本文通过实验发现，Per-layer 的 Weight Quantization 导致较大的精度下降的主要原因是 Batch Normalization，这导致单层卷积核动态范围的极端变化。因此，需要一些技术来优化模型的大小，以实现更快的推理和更低的功耗。前几个小节介绍的是线性量化操作，后面两个小节介绍的是主流的两种量化技巧，即后训练量化和量化感知训练。推理时的中间计算结果通常存储在 cache 里，以便后面层的重用，降低这些数据的精度可以减少所需的 working memory 和 cache。
Quantization｜A White Paper on Neural Network Quantization (谷歌量化白皮书)
weixin_44935658的博客
06-17 1545
记一下谷歌量化白皮书的理解。按原文目录分
模型量化入门介绍——从谷歌白皮书学模型量化(1)
weixin_42841721的博客
07-31 1118
谷歌的量化白皮书()绝对是模型量化入门学习的必读资料，回顾自己在量化工作中踩的一些坑，十分后悔没有提前阅读这个资料，否则对于一个刚做模型量化的小白来说，很多不必要的坑可以规避，而且更能对量化这件事有一个整体的理解。下面一起大致回顾一下这个小编认为的入门必读的文章。（文章只是对一些小编认为比较重要的部分进行介绍，更希望读者能自行再读一下原文）
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 6264
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
单目3D SMOKE PTQ量化代码
11-26
1. 单目3D SMOKE PTQ量化精度几乎无损2. 工业级量化方法
量化加速-对VisionTransformer进行PTQ量化加速-支持ViT+DeiT+SwinT-附模型+流程教程+项目源码
最新发布
10-16
量化加速_对VisionTransformer进行PTQ量化加速_支持ViT+DeiT+SwinT_附模型+流程教程+项目源码_优质项目实战
量化深度卷积网络的有效推理：白皮书
08-13
谷歌写的关于神经网络量化的白皮书，内容很详细，通俗易懂，值得一读。 1 Introduction 2 Quantizer Design 2.1 Uniform Affine Quantizer 2.2 Uniform symmetric quantizer 2.3 Stochastic quantizer 2.4 Modeling simulated quantization in the backward pass 2.5 Determining Quantizer parameters 2.6 Granularity of quantization 3 Quantized Inference: Performance and Accuracy 3.1 Post Training Quantization 3.1.1 Weight only quantization 3.1.2 Quantizing weights and activations 3.1.3 Experiments 3.2 Quantization Aware Training 3.2.1 Operation Transformations for Quantization 3.2.2 Batch Normalization 3.2.3 Experiments 3.2.4 Lower Precision Networks 4 Training best practices 5 Model Architecture Recommendations 6 Run-time measurements 7 Neural network accelerator recommendations 8 Conclusions and further work 9 Acknowledgements A Impact of Batch Normalization on Quantization
谷歌量化白皮书-QAT原理
t765833631的博客
04-19 169
本文内容摘抄自。
模型量化入门介绍——从谷歌白皮书学模型量化(2)
weixin_42841721的博客
08-05 1151
白皮书中在介绍完量化方式后，做了一些训练实验，然后得出了一些结论，以及一些测速相关的。篇幅有限，这里就不多说，只想给大家交代重点内容，其他的大家可以自行阅读。最后来到量化建议和总结。1. 模型结构设计上，不要限制激活值的范围。(比如relu比relu6好)2. 权衡好量化位宽。参数多的模型，量化鲁棒性一般会相对好一些，可以考虑更低的量化位宽，然而需要权衡，比如用30层的卷积，使用4bit的量化位宽，和10层的卷积，采用8bit的量化位宽，这个需要权衡。
【2】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
Just_do_myself的博客
05-02 1937
2021 google模型量化白皮书导读离线量化（PTQ） 量化范围设置、Cross-Layer Equalization
Tensorflow 模型量化 （Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）
热门推荐
妙猪的专栏
07-30 3万+
最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...
【TensorFlow】quantization量化
体重51.00
05-20 2万+
搜索关键词:quantize tensorflow 一、 Question 1:How does Tensorflow do quantization and dequantization? Details According to the blog post “https://petewarden.com/2016/05/03/how-to-quantize-neural-ne...
【Google量化】Mobilenet TensorFlow-Slim
体重51.00
04-29 4703
最近在做量化相关的工作，在老师的推荐下看了这篇文章，这篇文章是google2018新的作品，非常良心，讲解非常详细，而且有代码可以work。https://arxiv.org/abs/1712.05877Computer Science > LearningQuantization and Training of Neural Networks for Efficient Integer-A...
Tensorflow中采用的量化方案
Mingyong_Zhuang的技术博客
01-07 4871
Tensorflow中采用的量化方案摘要量化方案3. 实验4. 参考 摘要 本文根据google发表在cvpr2018上的量化文章《Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference》讲解量化过程，该过程同时也是谷歌的Tensorflow Lite中使用的量化方法。...
tensorflow的量化教程(1)
u012101561的博客
09-10 1万+
前段时间利用tensorflow的量化工具做了量化训练，精度损失很小，有时甚至比浮点模型精度更好一点，确实强大。利用tflite框架在3536上相比浮点模型有了2X左右的速度提升，现在做一个总结记录。 https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize， 这是tensorflow的量化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值