SNPE量化分析(1）

一、量化算法

SNPE支持量化的模型：
• FXP-CPU runtime跑的就是int8量化的模型，但前提要对DLC格式的模型使用量化脚本来量化；
• DSP和AIP runtime也可以跑量化模型，虽然模型int8量化不是必须的，但是之后DSP加载模型初始化时，也会对加载的参数量化，但可能DSP自动加载量化会有精度不如用脚本对模型量化的方式。
虽然SNPE对其量化代码没开源，但是文档表示其float转int8定点表示与TensorFlow中的量化方式一样。
基本信息：
• 量化包含了输入值的整个范围，量化后的范围介于0到255，左开右开；
• 量化区间的最小值是0.01；
• 浮点0可以被精确表示（非对称量化，0可以选择是否保留表示）。
算法流程：
1、计算输入数据的浮点范围：得到最大和最小浮点值；

2、计算encoding-min和encoding-max：这俩参数用于第三步的量化；
2.1、encoding-min：将以定点的形式表示，表示input的浮点值的最小值；
2.2、encoding-max：将以定点的形式表示，表示input的浮点值的最大值；
2.3、每一步的浮点值：step_size := (encoding_max - encoding_min) / 255，不过这里先临时用第一步得到的float_max与float_min来表示encoding_max与encoding_min。encoding_max与encoding_min的范围区间不能小于0.01。那么有：encoding_max := max(float_max, float_min+0.01)，encoding_min后面再调整；
2.4、0的浮点值必须精确表示，根据输入值分情况：

2.4.1全为正：encoding_min = 0.0，即最小的定点值0来表示浮点0；
2.4.2全为负：encoding_max = 0.0，即最大的定点值255来表示浮点0；
2.4.3有正有负：如输入浮点范围为[-5.1, 5.1]：

1）encoding_min = -5.1，encoding_max = 5.1；
2）encoding区间10.2，step size=10.2 / 255 = 0.04；
3）先不表示0，因为定点step_idx区间是[0, 255]，观察在给定最小值+步长情况下，即encoding_min+step_idx*step_size的值与0最近的值的step_idx，与0最近的step_idx必然一正一负，发现刚好步数step_idx为127和128时，分别是-0.02与+0.02与0最近。 因为这俩数（的绝对值）与0一样近，（127与128这两个数）选哪个作为0都可以，那就选小的吧，那么step_idx即第127步就是0点，那么这样一来，最小值和最大值就都被拉低了0.02与0的差即0.02，新的encoding_min=-5.12，encoding_max=5.08；

3、对输入浮点值定点量化：quantized_value = round(255 * (float_val - encoding_min) / (encoding_max - encoding_min))，这样量化的值被夹在[0, 255]，考虑两端的情况：
3.1、当遇到最小值-5.10时，quantized_value = round(255 * (-5.10 + 5.12) / (5.08+5.12)) = 1.0；
3.2、当遇到最大值+5.10时，quantized_vlaue = round(255 * (5.10 + 5.12) / (5.08+5.12)) = 256，卧槽溢出了？？？？！！！（这里有点懵，我想可能溢出就会用255或0强制表示吧，所以SNPE文档中有下面一条限制？？我猜应该是这样）；
3.3、总之量化值都是介于0到255之间；

4、输出：浮点的定点结果，encoding_min和encoding_max。
量化与反量化
给定输入input_values = [-1.8, -1.0, 0, 0.5]。现根据上面算法描述做定点量化，并之后恢复回原浮点。

二、量化与反量化

1. encoding_max := 0.5，encoding_min := -1.8；
2. range := encoding_max - encoding_min = 2.3，step_size := range / 255 = 0.009019607843137253；
3. 有正有负，根据encoding_min + step_idx * step_size，step_idx∈[0, 255]。观察到距离0最近的step_idx分别为：
   3.1、step_idx为199时：zero_diff_neg = -1.8+1992.3/255 = -0.005098039215686301；
   3.2、step_idx为200时：zero_diff_pos = -1.8+2002.3/255 = 0.003921568627450744；
   3.3、从绝对值来说，step_idx为200时距离0更近，即abs(zero_diff_neg) > abs(zero_diff_pos)。那么就选200这个step_idx作为定点与浮点0相对应的点，zero_step_idx := 200；
4. 修正encoding_max与encoding_min，根据step_idx=200时的zero_offset = 0.003921568627450744，对二者修正，都往右移：
   4.1、encoding_min := encoding_min + zero_offset = -1.7960784313725493；
   4.2、encoding_max := encoding_max + zero_offset = 0.5039215686274507； 注：这里SNPE文档中，算的zero_offset=-0.003921568627450744，是负数，怀疑是否是SNPE搞错了正负号。
5. 量化输入为定点，根据公式quant_value = round( 255 * (float_val - encoding_min) / (encoding_max - encoding_min) )：
   1）quant_value(-1.8) = -0.0；
   2）quant_value(-1.0) = 88；
   3）quant_value(0) = 199；
   4）quant_value(0.5) = 255；
6. 输出量化结果和encoding_min与encoding_max。

反量化
输入：
• 量化的定点值：[0, 88, 199, 255]；
• encoding_min = -1.7960784313725493；
• encoding_max = 0.5039215686274507；
• step_size = 0.009019607843137253。
反量化公式，根据量化公式quant_value = round( 255 * (float_value - encoding_min) / (encoding_max - encoding_min) )推导出来float_value。
反量化公式即：float_value = quant_value * (encoding_max - encoding_min) / 255 + encoding_min；
则有反量化结果：
• float_value(0) = -1.7960784313725493；
• float_value(88) = -1.0023529411764711；
• float_value(199) = -0.0011764705882355564；
• float_value(255) = 0.5039215686274505。