- 博客(21)
- 资源 (1)
- 收藏
- 关注
原创 PPQ 自定义量化平台
PPQ已经支持许多后端,本教程说明如何在PPQ中添加你的量化后端支持。为简单起见,这里将以TargetPlatform.ACADEMIC_INT8平台为例进行说明。
2023-07-03 17:24:15
371
1
原创 PPQ QLinear函数介绍
在本次教程中将展示使用ppq TensorQuantizationConfig量化一个torch Tensor。这里使用对称量化,其中scale=2,,截断值为-128-127。
2023-07-02 15:55:23
195
1
原创 PPQ Optim Pass(PPQ优化过程)
用户需要使用自定义的optimize函数对图中的信息进行修改,量化过程可以修改图中的任何信息,但当用户试图在量化过程中修改图的结构时,请注意图上Variable的shape,dtype属性可能需要更新。
2023-07-01 17:14:16
212
原创 PPQ.executor中的内容(来自PPQ官网)
为了量化并优化神经网络模型,PPQ实现了基于Pytorch的执行引擎,该执行引擎能够执行Onnx与Caffe的模型文件,目前支持90余种常见Onnx算子,涵盖1d,2d,3d视觉、语音、文本模型。PPQ的执行引擎位于ppq.executor目录下,有两个主要部分组成:ppq.executor.torch.py文件中包含了执行引擎自身;PPQ.executor.op文件夹中则包含了不同后端的算子库。
2023-06-30 12:28:23
221
原创 PPQ.IR中的内容(来自PPQ官网)
PPQ在Onnx IR的基础上构建了自己的计算图结构。在这里,一个计算图的定义由图(BaseGraph),算子(Operation)和变量(Variable)三者组成。PPQ的计算图对象不仅保存了网络的信息结构与参数信息,同时也保存了图上的量化信息与量化参数,所有的量化过程都是围绕着这样的底层数据结构展开的。
2023-06-29 10:56:04
171
1
原创 pybind11和libtorch的环境配置
注:libtorch有debug和release两种版本,但是要和pybind11一起配置,建议下载release版本,本人尝试使用debug版本没有成功。8.点击VC++目录,将包含目录设为python的include路径和pyblind的include路径。1.根据使用的torch版本下载对应的libtorch,如torch版本是1.8.2,则libtorch版本也是1.8.2。注:python版本不同会导致添加的lib文件名不一样,需要根据自己的情况配置。3.进入vs,创建新的工程项目。
2023-06-10 17:35:08
798
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人