2.2 onnx 误差分析

已于 2023-10-29 11:23:25 修改
阅读量105 收藏
点赞数
分类专栏： 模型推理 文章标签： 人工智能 机器学习
于 2023-10-29 11:21:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45063703/article/details/134101090
版权

introduction

这个例子中将展示如何量化一个 onnx 模型，执行误差分析，并与 onnxruntime 对齐结果

code

from typing import Iterable, Tuple

import torch

from ppq import (BaseGraph, QuantizationSettingFactory, TargetPlatform,
                 convert_any_to_numpy, torch_snr_error)
from ppq.api import (dispatch_graph, export_ppq_graph, load_onnx_graph,
                     quantize_onnx_model)
from ppq.core.data import convert_any_to_torch_tensor
from ppq.executor.torch import TorchExecutor
from ppq.quantization.analyse.graphwise import graphwise_error_analyse

BATCHSIZE        = 1
INPUT_SHAPES     = {'input.1': [BATCHSIZE, 3, 224, 224]}
DEVICE           = 'cuda'
QUANT_PLATFORM   = TargetPlatform.TRT_INT8
ONNX_PATH        = 'model.onnx'  
ONNX_OUTPUT_PATH = 'out/model.onnx'

# ------------------------------------------------------------
# 在这个例子中我们将向你展示如何量化一个 onnx 模型，执行误差分析，并与 onnxruntime 对齐结果
# 在这个例子中，我们特别地为你展示如何量化一个多输入的模型
# 此时你的 Calibration Dataset 应该是一个 list of dictionary
# ------------------------------------------------------------
def generate_calibration_dataset(graph: BaseGraph, num_of_batches: int = 32) -> Tuple[Iterable[dict], torch.Tensor]:
    dataset = []
    for i in range(num_of_batches):
        sample = {name: torch.rand(INPUT_SHAPES[name]) for name in graph.inputs}
        dataset.append(sample)
    return dataset, sample # last sample

def collate_fn(batch: dict) -> torch.Tensor:
    return {k: v.to(DEVICE) for k, v in batch.items()}

# ------------------------------------------------------------
# 在这里，我们仍然创建一个 QuantizationSetting 对象用来管理量化过程
# 我们将调度方法修改为 conservative，并且要求 PPQ 启动量化微调
# ------------------------------------------------------------
QSetting = QuantizationSettingFactory.default_setting()
QSetting.dispatcher = 'conservative'
QSetting.lsq_optimization = True

# ------------------------------------------------------------
# 准备好 QuantizationSetting 后，我们加载模型，并且要求 ppq 按照规则完成图调度
# ------------------------------------------------------------
graph = load_onnx_graph(onnx_import_file=ONNX_PATH)
graph = dispatch_graph(graph=graph, platform=QUANT_PLATFORM, setting=QSetting)
for name in graph.inputs:
    if name not in INPUT_SHAPES:
        raise KeyError(f'Graph Input {name} needs a valid shape.')

# ------------------------------------------------------------
# 生成校准所需的数据集，我们准备开始完成网络量化任务
# ------------------------------------------------------------
calibration_dataset, sample = generate_calibration_dataset(graph)
quantized = quantize_onnx_model(
    onnx_import_file=ONNX_PATH, calib_dataloader=calibration_dataset,
    calib_steps=32, input_shape=None, inputs=collate_fn(sample),
    setting=QSetting, collate_fn=collate_fn, platform=QUANT_PLATFORM,
    device=DEVICE, verbose=0)

# ------------------------------------------------------------
# 在 PPQ 完成网络量化之后，我们特别地保存一下 PPQ 网络执行的结果
# 在本样例的最后，我们将对比 PPQ 与 Onnxruntime 的执行结果是否相同
# ------------------------------------------------------------
executor, reference_outputs = TorchExecutor(quantized), []
for sample in calibration_dataset:
    reference_outputs.append(executor.forward(collate_fn(sample)))

# ------------------------------------------------------------
# 执行网络误差分析，并导出计算图
# ------------------------------------------------------------
graphwise_error_analyse(
    graph=quantized, running_device=DEVICE, 
    collate_fn=collate_fn, dataloader=calibration_dataset)
export_ppq_graph(graph=quantized, platform=TargetPlatform.ONNXRUNTIME,
                 graph_save_to='out/model.onnx')

# -----------------------------------------
# 在最后，我们启动 onnxruntime 并比对结果
# -----------------------------------------
try:
    import onnxruntime
except ImportError as e:
    raise Exception('Onnxruntime is not installed.')

sess = onnxruntime.InferenceSession(ONNX_OUTPUT_PATH, providers=['CUDAExecutionProvider'])
onnxruntime_outputs = []
for sample in calibration_dataset:
    onnxruntime_outputs.append(sess.run(
        output_names=[name for name in graph.outputs], 
        input_feed={k: convert_any_to_numpy(v) for k, v in sample.items()}))

name_of_output = [name for name in graph.outputs]
for oidx, output in enumerate(name_of_output):
    y_pred, y_real = [], []
    for reference_output, onnxruntime_output in zip(reference_outputs, onnxruntime_outputs):
        y_pred.append(convert_any_to_torch_tensor(reference_output[oidx], device='cpu').unsqueeze(0))
        y_real.append(convert_any_to_torch_tensor(onnxruntime_output[oidx], device='cpu').unsqueeze(0))
    y_pred = torch.cat(y_pred, dim=0)
    y_real = torch.cat(y_real, dim=0)
    print(f'Simulating Error For {output}: {torch_snr_error(y_pred=y_pred, y_real=y_real).item() :.4f}')
  • ONNX_PATH = 'model.onnx' 是1中 quantized(onnx).onnx 修改了名称

result

# python quantize.py 

      ____  ____  __   ____                    __              __
     / __ \/ __ \/ /  / __ \__  ______ _____  / /_____  ____  / /
    / /_/ / /_/ / /  / / / / / / / __ `/ __ \/ __/ __ \/ __ \/ /
   / ____/ ____/ /__/ /_/ / /_/ / /_/ / / / / /_/ /_/ / /_/ / /
  /_/   /_/   /_____\___\_\__,_/\__,_/_/ /_/\__/\____/\____/_/


[07:52:10] PPQ Quantization Config Refine Pass Running ... Finished.
[07:52:10] PPQ Quantization Fusion Pass Running ...        Finished.
[07:52:10] PPQ Quantize Simplify Pass Running ...          Finished.
[07:52:10] PPQ Parameter Quantization Pass Running ...     Finished.
Calibration Progress(Phase 1): 100%|████████████████████████████████████████████████████| 32/32 [00:02<00:00, 12.33it/s]
[07:52:10] PPQ Runtime Calibration Pass Running ...        Finished.
[07:52:13] PPQ Quantization Alignment Pass Running ...     Finished.
[07:52:13] PPQ Passive Parameter Quantization Running ...  Finished.
[07:52:13] PPQ LSQ Optimization Running ...                
Check following parameters:
Is Scale Trainable:        True
Interested Layers:         []
Collecting Device:         cuda
Num of blocks:             18
Learning Rate:             1e-05
Steps:                     500
Gamma:                     0.0

# Block [1 / 18]: [Conv_0 -> Conv_8]
/opt/conda/lib/python3.8/site-packages/torch/optim/adam.py:48: UserWarning: optimizer contains a parameter group with duplicate parameters; in future, this will cause an error; see github.com/pytorch/pytorch/issues/40967 for more information
  super(Adam, self).__init__(params, defaults)
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 184.66it/s]
# Tuning Finished  : (0.0005 -> 0.0005) [Block Loss]

# Block [2 / 18]: [Conv_9 -> Conv_17]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 193.81it/s]
# Tuning Finished  : (0.0014 -> 0.0010) [Block Loss]

# Block [3 / 18]: [Conv_18 -> Conv_26]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 198.41it/s]
# Tuning Finished  : (0.0026 -> 0.0024) [Block Loss]

# Block [4 / 18]: [Conv_28 -> Conv_36]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 195.62it/s]
# Tuning Finished  : (0.0014 -> 0.0014) [Block Loss]

# Block [5 / 18]: [Conv_37 -> Conv_45]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 196.87it/s]
# Tuning Finished  : (0.0010 -> 0.0009) [Block Loss]

# Block [6 / 18]: [Conv_47 -> Conv_55]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 193.48it/s]
# Tuning Finished  : (0.0011 -> 0.0010) [Block Loss]

# Block [7 / 18]: [Conv_57 -> Conv_65]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 197.79it/s]
# Tuning Finished  : (0.0008 -> 0.0008) [Block Loss]

# Block [8 / 18]: [Conv_66 -> Conv_74]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 197.68it/s]
# Tuning Finished  : (0.0003 -> 0.0003) [Block Loss]

# Block [9 / 18]: [Conv_76 -> Conv_84]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 194.42it/s]
# Tuning Finished  : (0.0004 -> 0.0004) [Block Loss]

# Block [10 / 18]: [Conv_86 -> Conv_94]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 197.52it/s]
# Tuning Finished  : (0.0030 -> 0.0008) [Block Loss]

# Block [11 / 18]: [Conv_96 -> Conv_104]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 198.10it/s]
# Tuning Finished  : (0.0006 -> 0.0005) [Block Loss]

# Block [12 / 18]: [Conv_105 -> Conv_113]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 197.65it/s]
# Tuning Finished  : (0.0020 -> 0.0007) [Block Loss]

# Block [13 / 18]: [Conv_115 -> Conv_123]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 197.24it/s]
# Tuning Finished  : (0.0137 -> 0.0022) [Block Loss]

# Block [14 / 18]: [Conv_125 -> Conv_133]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 197.13it/s]
# Tuning Finished  : (0.0026 -> 0.0017) [Block Loss]

# Block [15 / 18]: [Conv_134 -> Conv_142]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 198.01it/s]
# Tuning Finished  : (0.0027 -> 0.0020) [Block Loss]

# Block [16 / 18]: [Conv_144 -> Conv_152]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 198.85it/s]
# Tuning Finished  : (0.0140 -> 0.0086) [Block Loss]

# Block [17 / 18]: [Conv_154 -> Conv_162]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:02<00:00, 198.94it/s]
# Tuning Finished  : (0.0017 -> 0.0012) [Block Loss]

# Block [18 / 18]: [Conv_163 -> Gemm_169]
# Tuning Procedure : 100%|███████████████████████████████████████████████████████████| 500/500 [00:01<00:00, 419.33it/s]
# Tuning Finished  : (0.0106 -> 0.0086) [Block Loss]

Finished.
[07:53:09] PPQ Passive Parameter Quantization Running ...  Finished.
[07:53:09] PPQ Parameter Baking Pass Running ...           Finished.
--------- Network Snapshot ---------
Num of Op:                    [100]
Num of Quantized Op:          [52]
Num of Variable:              [277]
Num of Quantized Var:         [201]
------- Quantization Snapshot ------
Num of Quant Config:          [208]
BAKED:                        [52]
ACTIVATED:                    [52]
FP32:                         [104]
Network Quantization Finished.
Analysing Graphwise Quantization Error(Phrase 1):: 100%|██████████████████████████████████| 8/8 [00:00<00:00,  9.49it/s]
Analysing Graphwise Quantization Error(Phrase 2):: 100%|██████████████████████████████████| 8/8 [00:00<00:00,  8.19it/s]
Layer     | NOISE:SIGNAL POWER RATIO 
Conv_144: | ████████████████████ | 0.026488
Conv_162: | ████████████████████ | 0.026420
Conv_119: | ████████████████████ | 0.026252
Conv_115: | ███████████████████  | 0.025719
Conv_154: | ██████████████████   | 0.023327
Conv_163: | █████████████████    | 0.022909
Conv_123: | █████████████████    | 0.022655
Conv_142: | █████████████████    | 0.022324
Conv_152: | ████████████████     | 0.021033
Conv_148: | ████████████████     | 0.020950
Conv_134: | ███████████████      | 0.020297
Conv_113: | ███████████████      | 0.019930
Conv_125: | ███████████████      | 0.019700
Conv_90:  | ███████████████      | 0.019612
Conv_138: | ███████████████      | 0.019494
Conv_133: | ███████████████      | 0.019315
Conv_55:  | ██████████████       | 0.019215
Conv_86:  | ███████████          | 0.014120
Conv_129: | ██████████           | 0.013777
Conv_26:  | ███████              | 0.009576
Conv_105: | ███████              | 0.009439
Conv_104: | ███████              | 0.009423
Conv_94:  | ███████              | 0.009185
Conv_109: | ███████              | 0.008984
Conv_45:  | ███████              | 0.008888
Conv_51:  | █████                | 0.006976
Conv_41:  | █████                | 0.006354
Conv_57:  | ████                 | 0.005857
Conv_96:  | ████                 | 0.005114
Conv_28:  | ████                 | 0.005098
Conv_84:  | ████                 | 0.005052
Conv_22:  | ████                 | 0.004921
Conv_36:  | ████                 | 0.004893
Conv_100: | ███                  | 0.004590
Conv_70:  | ███                  | 0.004514
Conv_80:  | ███                  | 0.004059
Conv_17:  | ███                  | 0.003926
Conv_158: | ███                  | 0.003892
Conv_65:  | ███                  | 0.003821
Conv_13:  | ███                  | 0.003791
Conv_47:  | ███                  | 0.003612
Conv_32:  | ██                   | 0.002906
Conv_66:  | ██                   | 0.002527
Conv_8:   | ██                   | 0.002344
Conv_74:  | ██                   | 0.002325
Conv_76:  | █                    | 0.002075
Conv_37:  | █                    | 0.001861
Conv_9:   | █                    | 0.001543
Conv_61:  | █                    | 0.001336
Conv_18:  | █                    | 0.001333
Conv_4:   |                      | 0.000348
Conv_0:   |                      | 0.000230
Simulating Error For 536: 0.0042

bug

AttributeError:'NoneType' object has no attribute 'clone'

一开始的安装方式是

python3 -m pip install ppq

会报上面的错误，解决方式：

pip uninstall  ppq

git clone https://github.com/openppl-public/ppq.git
cd ppq
pip install -r requirements.txt
python setup.py install
nsq_ai
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
onnx实现pytorch模型推断及量化
驽马十驾，功在不舍；锲而不舍，金石可镂。
12-16 1011
本博客提供了使用onnx实现 pytorch resnet101模型的量化和推断。
ONNX 模型分析与使用
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
09-15 762
ONNX 的本质只是一套开放的 ML 模型标准，模型文件存储的只是网络的拓扑结构和权重（其实每个深度学习框架最后保存的模型都是类似的），脱离开框架是没办法对模型直接进行 inference的。
史上最快的实例分割SparseInst Int8量化实录
jinfagang1211的博客
04-23 4645
近期，YOLOv7里面借鉴（复 制 粘 贴）了一个新的模型，SparseInst，我借助YOLOv7的基建能力，将其导出到了ONNX, 获得了一个非常不错的可以直接用OnnxRuntime， 或者TensorRT跑的实例分割 (后续也可能把link加到官方的repo当中)。索性就一不作二不休，把int8也给他加上。于是就有了这个踩坑记录博客。 本文将带你从0开始量化一个复杂网络，这个SparseInst也是基于Transformer的，网络结构够复杂。最终实现Int8的量化推理。 我们会cover的..
7.TensorRT中文版开发教程-----TensorRT中的INT8量化详解
热门推荐
专注于人工智能领域的小何尚
04-30 1万+
7. 如何使用TensorRT中的INT8 点击此处加入NVIDIA开发者计划 7.1. Introduction to Quantization TensorRT 支持使用 8 位整数来表示量化的浮点值。量化方案是对称均匀量化 - 量化值以有符号 INT8 表示，从量化到非量化值的转换只是一个乘法。在相反的方向上，量化使用倒数尺度，然后是舍入和钳位。 要启用任何量化操作，必须在构建器配置中设置 INT8 标志。 7.1.1. Quantization Workflows 创建量化网络有两种工作流程： 训
ONNX模型分析与使用
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
01-09 329
文章首发于我的 github 仓库-cv算法工程师成长之路，欢迎关注我的公众号-嵌入式视觉。 本文大部分内容为对 ONNX 官方资料的总结和翻译，部分知识点参考网上质量高的博客。 一，ONNX 概述 深度学习算法大多通过计算数据流图来完成神经网络的深度学习过程。 一些框架(例如CNTK，Caffe2，Theano和TensorFlow)使用静态图形，而其他框架(例如 PyTorch 和 Ch...
【RK3588 第四篇】YOLO V5中pytorch2onnx，pytorch和onnx模型输出不一致，精度降低
钱多多先森
10-13 3459
pytorch转onnx模型发现的问题，以及转rknn出现的精度下降，同时验证了新的pytorch转onnx模型出现的麻烦事
Pytorch项目打包和部署（3）——代码——flask+onnx
wa1tzy的博客
07-13 2037
文章目录一、Flask部署1.1 httpserver.py1.2 clinet.html二、传图片2.1 clinet.html2.2 httpserver.py三、返回json格式3.1 clinet.html3.2 httpserver.py四、官网实例转JSON4.1 httpserver2.py4.2 clinet2.html五、导出与调用onnx（跨平台使用）5.1 导出onnx5.2 检查onnx5.2.1 onnxruntime评测模型精度不一致问题排查5.3 调用onnx 一、Flask部
TensorRT-8量化分析
吴建明wujianming_110117
03-17 2112
TensorRT-8量化分析 本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化 都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量
C++实现推理, 基于Onnx-simplifier、onnx-tensorrt、TensorRT和Cuda编程
人生得意须尽欢
12-01 3755
在启动kernel的时候，要通过指定gridsize和blocksize才行，举下面的例子说说： dim3 gridsize(2,2); dim3 blocksize(4,4); gridsize相当于是一个2*2的block，gridDim.x，gridDim.y，gridDim.z相当于这个dim3的x，y，z方向的维度，这里是2*2*1。序号从0到3，且是从上到下的顺序，就是说是下面的情况: grid中的blockidx序号标注情况为：
2.2 残差分析.ppt
05-25
大学生数学建模资料，书籍，模型，论文，常用算法模型+课件讲义代码
2.2泊车影响因素分析
07-10
2.2泊车影响因素分析
Snort2.2入侵检测系统源码分析全文 - 独孤九贱（基于Snort2.2版本）
12-18
1、Snort入侵检测系统源码分析，294页全文版； 2、版权所有独孤九贱； 3、注意是基于Snort2.2版本的分析；
Android2.2源码结构分析.pdf
10-02
Android2.2源码结构分析.pdf
TongETL2.2相关文档
08-10
该资源包括：TongETL V2.2服务器接口参考手册、TongETL2.2技术白皮书、TongETL2.2系统_工具使用手册、TongETL2.2系统_组件使用手册、TongETL2.2系统常见问题集、TongETL2.2系统概述、TongETL2.2系统快速安装使用手册
如何自定义反向传播使用paddlepaddle
东方佑
06-08 618
在深度学习框架中，我们经常需要自定义层以实现特定的功能。PaddlePaddle是一个易用、高效、灵活的深度学习框架，它提供了丰富的API来支持自定义层的创建。本文将介绍如何使用PaddlePaddle实现一个自定义层Gxyz，并演示如何将其应用于一个简单的模型。
Recognize Anything: A Strong Image Tagging Model（RAM模型使用方法）
python_plus的博客
06-09 1002
详细介绍了RAM模型的使用方法
基于增强形态学滤波的旋转机械故障诊断方法（MATLAB）
最新发布
weixin_39402231的博客
06-12 664
提出一种基于增强形态学滤波的旋转机械故障诊断方法，该方法根据振动信号的固有特性从而自适应地确定相关参数，有效改进了故障特征的提取计算能力和计算效率.
机器学习实验----支持向量机(SVM)实现二分类
m0_73087960的博客
06-07 1131
两侧距离最近的数据点到超平面的距离最大。超平面被用来划分特征空间，以便实现对数据进行分类或回归。在多分类实验中，是n元空间中，超平面就是一个n-1维的空间。我们实现的是二分类，就得到的是一条直线。给定样本数据集，假设样本特征为X，样本标签为y。其中y 的取值只能有+1和-1。表示样本正类和负类。公式：其中w代表每个特征前的系数，也就是超平面的法向量拉格朗日乘数法的主要是将有等式约束条件优化问题转换为无约束条件,求解带约束条件下的极值。
ArcGIS 网络分析[2.2] 服务区分析
05-29
ArcGIS 网络分析中的服务区分析是一种常见的网络分析工具，它可以确定由一个或多个网络中心点向外延伸一定距离范围内的服务区域。该工具可以帮助用户确定某一中心点的服务覆盖范围，例如确定某个商场的服务范围，或者确定某个医院的急救范围等。在进行服务区分析时，需要指定网络数据集、中心点位置、服务半径等参数。分析结果可以以图形或表格方式呈现，便于用户进行进一步的分析和决策。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

nsq_ai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值