Creating Custom Quantized Modules
量化工具提供了几个量化的模块,如下所示:
QuantConv1d,QuantConv2d,QuantConv3d,pentConvtranspose1d,pentConvtranspose2D,pentConvTranSpose3D
QuantLinear
QuantAvgPool1d,QuantAvgPool2D,QuantAvgPool3D,Quantmaxpool1d,QuantMaxPool2D,QuantMaxPool3D
要量化模块,我们需要量化输入和权重(如果存在)。以下是3个主要用例:
- 为只有输入的模块创建量化包装器
- 为具有输入和权重的模块创建量化包装器。
- 直接将 TensorQuantizer 模块添加到模型图中操作的输入。
如果需要自动用量化版本替换原始模块(图中的节点