谷歌量化白皮书—PTQ原理

已于 2024-04-18 23:57:26 修改
阅读量94 收藏
点赞数 1
分类专栏： 量化 文章标签： 学习
于 2024-04-18 22:56:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/t765833631/article/details/137940982
版权

本篇笔记摘抄的原文链接

量化方法

量化粒度

量化模拟

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

激活层的量化

量化硬件原理

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

量化范围的设置方法

在这里插入图片描述

基于BN的激活层量化范围设置

在这里插入图片描述

普通卷积 VS 深度可分离卷积

在这里插入图片描述

跨层均衡化

在这里插入图片描述

ReLU6比ReLU有什么优势

在这里插入图片描述

吸收高偏差、偏差校正、自适应取整

标准PTQ流程

在这里插入图片描述

量化模型精度的诊断和性能瓶颈定位方法

在这里插入图片描述

在这里插入图片描述

thetffs
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
【1】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
Just_do_myself的博客
04-23 7531
2021 Google模型量化白皮书
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 3949
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
【2】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
Just_do_myself的博客
05-02 1449
2021 google模型量化白皮书导读离线量化（PTQ） 量化范围设置、Cross-Layer Equalization
神经网络INT8量化~部署
whaosoft143ai的博客
02-22 573
这里详解量化的基本概念以及卷积量化的实际操作。老潘刚开始接触是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。转眼间过了这么久啦，神经网络量化应用、相比之前成熟多了！whaosoft aiot http://143ai.com 这就是pre-channel或者详细点就是per-output-channe
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
yolov7量化前后onnx模型
07-12
QAT、PTQ模型
算法推理加速-ViT的后量化实现-采用孪生均匀量化算法实现+8比特量化精度下降小于0.005-优质项目实战.zip
04-08
算法推理加速_ViT的后量化实现_采用孪生均匀量化算法实现+8比特量化精度下降小于0.005_优质项目实战
Quantum通过PTQ通讯.
04-15
Profibus DP与TURCK BL67模块通讯。其中的关键问题就是配置PTQ，然后导出的相关文件，然后把此文件导入到Unity Pro软件中。 具体是这样的： 在Prosoft网站上下一个配置软件，叫Prosoft Technology，网址
JAVA 学习·泛型（二）——通配泛型
wr114514的博客
05-02 1021
介绍了Java泛型中的重要知识点——通配泛型及其应用。
限流的学习
weixin_43675252的博客
05-01 419
限流算法：滑动窗口算法滑动日志算法漏桶算法令牌桶算法。
场景文本检测&识别学习 day08（无监督的Loss Function、代理任务、特征金字塔）
丿罗小黑的博客
05-03 409
无监督的Loss Function（无监督的目标函数） 根据有无标签，可以将模型的学习方法分为：无监督、有监督两种。而自监督是无监督的一种 无监督的目标函数可以分为以下几种： 生成式网络的做法，衡量模型的输出和固定的目标之间的差距，主要考虑输入数据是怎么分布的，即 “给定Y，如何生成X”。如auto-encoder：输入一张干扰过的图，通过编码器-解码器，然后得出一张还原后的图，通过对比原图和生成的还原后的图之间的差异 判别式网络的做法，衡量模型的输出和固定的目标之间的差异，主要考虑输入和输出的映射关系
[C++基础学习-04]----C++数组详解
一伦明悦的博客
05-02 414
一维数组和二维数组是在编程中常用的数据结构，它们具有不同的特点和适用场景。1、一维数组一维数组是一种线性结构，它由一系列按顺序存储的元素组成；通常用于存储一组相同类型的数据，例如整数、浮点数、字符等；访问速度比较快，通过数组下标即可快速定位和访问特定元素；适用于存储列表、向量、序列等线性数据。2、二维数组二维数组是一种表格状的结构，它由一维数组组成的数组，用于存储表格数据或矩阵数据；通常用于存储二维结构的数据，例如游戏地图、图像数据、二维表格等；
爬虫学习（1）简易网页采集器
最新发布
PLANTTHESON的博客
05-06 226
爬取完成后，会将相应的html存放到搜索名+html文件中。如何使用: (reques ts模块的编码流程)将爬虫发出的请求伪装成浏览器发出的请求。将url携带的参数封装到字典中。代码运行会提示输入搜索内容。
菜鸡学习netty源码（三）—— Reactor 模型
u013127325的博客
05-03 599
我们先进行理解一下Reactor模型，知道什么是Reactor模型，它有什么特别之处。我们先来简单介绍一下这个Reactor模型。Reactor模型的核心思想：就是将所关注的I/O事件进行注册到一个多路复用器上，一旦有I/O事件的发生，将事件进行分发到对应的事件处理器中，执行I/O事件对应的函数。Rector模型有3中模型的实现：单Reactor单线程模型，单Reactor多线程模型，多Reactor多线程模型。
学习选择排序的可视化实现（一）
weixin_40539956的博客
05-03 439
开始：从数组的第一个元素开始，假设最小（或最大）元素就是第一个元素。比较：遍历未排序的部分，找到实际的最小（或最大）元素。交换：将找到的最小（或最大）元素与未排序部分的第一个元素交换位置。重复：移动到下一个元素，重复步骤2和3，直到数组完全排序。
xss漏洞学习
Z11762的博客
04-29 687
跨站脚本（Cross-Site Scripting），本应该缩写为CSS，但是该缩写已被层叠样式脚本Cascading Style Sheets所用，所以改简称为XSS。也称跨站脚本或跨站脚本攻击。原理：跨站脚本攻击XSS通过将恶意得Script代码注入到Web页面中，当用户浏览该页之时，嵌入其中Web里面的Script代码会被执行，从而达到恶意攻击用户的目的。特点：本质上是一种针对网站应用程序攻击的技术，同属于代码注入。
【书生·浦语大模型实战营第二期】XTuner微调LLM：1.8B、多模态、Agent——学习笔记4
m0_61819793的博客
05-01 1032
书生·浦语实战营第二期 学习笔记4 使用XTuner工具微调InternLM-1.8B，LLaVA微调方案
pytorch ptq量化
05-13
PyTorch支持通过量化技术来压缩模型，减小模型大小和内存占用，并提高模型的推理性能。其中，PTQ（Post Training Quantization）是一种常见的量化方法，它可以在训练后对模型进行量化。 PTQ的基本思路是将原始模型中的浮点数参数转化为固定位宽的整数，从而减小模型的大小和内存占用，提高模型在嵌入式设备上的推理速度。在PTQ中，可以对权重、激活值、梯度等进行量化。 下面是使用PyTorch进行PTQ的基本流程： 1. 定义模型 首先需要定义一个PyTorch模型。 2. 定义量化方法 接下来需要定义量化方法。PyTorch提供了一些量化方法，可以根据实际需求进行选择。例如，可以使用torch.quantization.quantize_dynamic()方法进行动态量化，或者使用torch.quantization.quantize_static()方法进行静态量化。 3. 对模型进行量化 使用定义的量化方法对模型进行量化，将浮点数参数转化为整数参数。可以使用torch.quantization.prepare()方法对模型进行准备，使用torch.quantization.convert()方法进行转换。 4. 测试量化后的模型 量化完成后，需要测试量化后的模型，确保准确性没有明显下降。 下面是一个简单的示例代码，演示了如何使用PyTorch进行PTQ： ```python import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms from torchvision.models import resnet18 from torch.utils.data import DataLoader # 定义模型 model = resnet18() # 定义数据预处理 transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))]) # 加载数据集 trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform) trainloader = DataLoader(trainset, batch_size=128, shuffle=True) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) # 训练模型 for epoch in range(5): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print('[Epoch %d] loss: %.3f' % (epoch + 1, running_loss / len(trainloader))) # 定义量化方法 quantization_method = torch.quantization.quantize_dynamic # 对模型进行量化 model.qconfig = torch.quantization.get_default_qconfig('fbgemm') quantized_model = quantization_method(model, qconfig_spec={nn.Linear}, dtype=torch.qint8) # 测试量化后的模型 quantized_model.eval() testset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform) testloader = DataLoader(testset, batch_size=128, shuffle=False) correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data outputs = quantized_model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the test images: %d %%' % (100 * correct / total)) ``` 注意：PTQ可能会对模型的准确性产生一定的影响，因此需要根据实际情况进行调整。同时，PTQ的效果也受到数据集的影响，因此需要在实际应用中进行测试和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值