高效模型量化工具包-AIMET（五）

4.4量化范围设置

  PTQ过程中的一个基本步骤是为每个量化器找到合适的量化范围。
量化范围设置是指确定量化网格的截断阈值q_min和q_max（参见方程2.7）的方法。范围设置方法影响着截断和舍入误差之间的权衡，如2.2节所述，并因此对最终任务损失产生影响。这里描述的每种方法都提供了两个量之间不同的权衡。这些方法通常优化局部成本函数，而不是任务损失。这是因为在PTQ中，我们旨在使用计算速度快的方法，而无需进行端到端的训练。
  通常情况下，权重可以在不需要校准数据的情况下进行量化。然而，确定激活量化的参数通常需要几批校准数据。对于视觉任务，通常使用500到1000个数据样本可以得到良好的结果。请注意，无论使用何种PTQ优化技术，如CLE/BC或AdaRound，都需要进行量化范围设置。
最小-最大法 为了覆盖张量的整个动态范围，我们可以将量化参数定义如下：
       q_min = _min V，（4.1）
       q_max = _max V，（4.2）

  其中V表示要量化的张量。这将导致没有截断误差。然而，这种方法对异常值非常敏感，因为强烈的异常值可能会导致过多的舍入误差。
信号与量化噪声比（SQNR） 为了缓解大异常值的问题，一种方法是使用基于信号与量化噪声比（SQNR）的范围设置。SQNR方法类似于文献中已知的均方误差（MSE）最小化方法。在SQNR范围设置方法中，我们找到使原始张量和量化张量之间的总MSE最小化的q_min和q_max，其中来自量化噪声和饱和的误差被以不同的权重计算。

代码示例
API AIMET上的量化模拟允许用户选择量化范围设置方案。它支持两个选项：
QuantScheme.post_training_tf：使用标准的最小-最大值方法进行量化范围设置。
QuantScheme.post_training_tf_enhanced：使用上述SQNR技术进行量化范围设置。

#代码块4.3 量化范围设置API示例

import torch
from aimet_torch.examples import mnist_torch_model
# Quantization related import
from aimet_torch.quantsim import QuantizationSimModel
model = mnist_torch_model.Net().to(torch.device(’cuda’))
# create Quantization Simulation model with appropriate quant_scheme, supported schemes :
# QuantScheme.post_training_tf_enhanced
# QuantScheme.post_training_tf
quant_scheme = QuantScheme.post_training_tf_enhanced
	sim = QuantizationSimModel(model,
	dummy_input=torch.rand(1, 1, 28, 28),
	quant_scheme=quant_scheme,
	default_output_bw=8,
	default_param_bw=8)

4.5 偏差校正

  另一个常见问题是量化误差通常存在偏差。这意味着原始模型和量化后的层或网络的预期输出存在偏移（E[W_x] ≠ E[ $\hat{W}$_x]）。这种错误在每个输出通道只有少量权重的深度可分离层中更为明显（通常为3×3内核的9个权重）。这种错误的主要贡献者通常是剪切误差，因为少数强烈剪切的异常值可能导致预期分布的偏移。

  通过调整层的偏置参数，我们可以校正噪声中的偏差。这种校正恢复了原始FP32模型的一部分准确性。这个校正项是一个与层偏置形状相同的向量，因此可以在推理过程中将其吸收到偏置中，而不会增加额外的开销。AIMET支持两种偏差校正方法：经验偏差校正和分析偏差校正。

  经验偏差校正： 如果我们有一个校准数据集，那么偏差校正项可以通过比较量化模型和全精度模型的激活来简单计算。

  分析偏差校正： Nagel等人（2019）提出了一种在不需要数据的情况下分析校正偏差错误的方法。对于具有批归一化和ReLU激活的常见网络，他们使用前一层的批归一化统计数据来近似预期输入分布E[x]，并通过分析方法对偏差错误进行校正。

代码示例
API AIMET默认执行经验偏差校正

#代码块4.4 偏差校正API示例

from torchvision import models
from aimet_torch.bias_correction import correct_bias
from aimet_torch.quantsim import QuantParams
model = models.resnet18(pretrained=True).eval()
params = QuantParams(weight_bw=4, act_bw=4,
	round_mode="nearest",
	quant_scheme=’tf_enhanced’)
# Perform Bias Correction
# perform_only_empirical_bias_corr to True to
# enforce only empirical bias correction
correct_bias(model.to(device="cuda"),
	params=params,
	num_quant_samples=1000,
	data_loader,
	num_bias_correct_samples=512,
	perform_only_empirical_bias_corr)

使用注意事项：
• 用户可以通过API中的perform_only_empirical_bias_corr标志选择要应用的偏差校正类型。如果设置为True，则仅应用经验性偏差校正。如果时间不是瓶颈，建议仅使用经验性偏差校正。
• 在分析性偏差校正（perform_only_empirical_bias_corr = False）的情况下，AIMET会自动检测给定模型中具有关联批归一化统计的候选卷积层，以执行偏差校正。对于没有关联批归一化统计的层，如果提供了校准数据集，则应用经验性偏差校正。
• 偏差校正需要一组训练或校准数据。我们观察到，提供500-1,000个样本对于视觉任务效果良好。

4.6 AdaRound

  神经网络权重通常通过将每个FP32值投影到最近的量化网格点来量化，如均匀量化网格的方程（2.4）中的⌊·⌉所示。我们将此量化策略称为最近舍入。在量化操作中舍入权重的方式对网络性能有重要影响。AdaRound（自适应舍入）提供了一种理论上可靠、计算速度快的权重舍入方法。它仅需要少量未标记的数据样本（例如：在视觉任务中使用了500-2,000个样本），无需超参数调整或端到端微调，并且可以应用于任何神经网络的全连接和卷积层。AdaRound使用未标记的训练或校准数据优化局部损失函数，以自适应地决定是否将特定权重量化为下面或上面的整数值。图4.4以示例说明了最近舍入和AdaRound之间的差异。在量化模拟中（参见第3.1节），AIMET默认将层的权重舍入为最近的值。然而，为了提高性能，特别是对于低位宽整数量化，应调用AdaRound。

代码示例
API AIMET支持一个通用的API来对给定的模型执行AdaRound操作，如下所示。它返回一个更新后的模型，其中包含优化后的权重，并将相应的量化编码保存在一个JSON输出文件中，该文件的路径由encoding_path参数指定。

#代码块4.5 AdaRoundAPI示例

from torchvision import models
from aimet_torch.quantsim import QuantizationSimModel
from aimet_torch.adaround.adaround_weight import Adaround,AdaroundParameters
torch.cuda.empty_cache()
model = models.resnet18(pretrained=True).eval()
model = model.to(torch.device(’cuda’))
input_shape = (1, 3, 224, 224)
dummy_input = torch.randn(input_shape).to(torch.device(’cuda’))
# configuration parameters
params = AdaroundParameters(data_loader, num_batches=4,
	default_num_iterations=50,
	default_reg_param=0.01,
	default_beta_range=(20, 2))
# Returns a model with adarounded weights and corresponding encodings
quant_scheme = QuantScheme.post_training_tf_enhanced
adarounded_model = Adaround.apply_adaround(model,
	dummy_input,
	params,
	path=’./’,
	filename_prefix=’resnet18’,
	default_param_bw=8,
	default_quant_scheme=quant_scheme,
	default_config_file=None)
# Create quant-sim using adarounded_model
sim = QuantizationSimModel(adarounded_model, dummy_input
	quant_scheme=quant_scheme,
	default_param_bw=param_bw,
	default_output_bw=output_bw)
# Set and freeze encodings to use same quantization grid and then invoke compute encodings
sim.set_and_freeze_param_encodings(
	encoding_path=’./resnet18.encodings’)
sim.compute_encodings(forward_pass_callback=send_samples,
	forward_pass_callback_args=None)

使用注意事项：
• AdaRound优化有几个暴露给用户的超参数。根据我们的实验，AIMET中的默认值可以提供良好且稳定的结果。如果默认超参数导致准确性不满意或运行时间过长，请考虑以下调整指南：
   -最有影响力的超参数是批次数和迭代次数（默认为10,000）。它们分别影响使用的数据量和优化的持续时间。我们建议至少使用500到2,000个样本，这在视觉任务中效果良好（但需要根据具体情况确定）（批次大小为64，批次数为16对应于1,024个样本）。
  -其余的超参数（reg_param、beta_range、warm_start）与AdaRound的公式相关，在大多数情况下不需要更改。
• 在使用后续AdaRound模型创建QuantizationSimModel时，请使用提供的QuantizationSimModel API来设置和冻结参数编码，然后再计算编码。请注意，冻结编码是实现AdaRound性能优势的关键，因为权重适应假设存在基础的量化网格，并且在推断过程中必须使用它。