基于caffe框架下的fixedpoint量化工具Ristretto的使用说明

代码参考：Ristretto工程github开源代码
博客参考：神经网络量化之 Ristretto、增量量化INQ、IAO代码实战分析

1. Ristretto工具使用

1.0. 训练初始模型

./build/tools/caffe train 
--solver=examples/mnist/lenet_solver.prototxt
--gpu 1

参数说明：
solver：训练配置文件，里面有指向lenet_train_test.prototxt的链接。假设生成的模型为lenet_iter_10000.caffemodel

1.1. 量化

./build/tools/ristretto quantize 
--model=examples/mnist/lenet_train_test.prototxt    
--weights=examples/mnist/lenet_iter_10000.caffemodel    
--model_quantized=examples/mnist/quantized.prototxt   
--iterations=100 
--gpu=1 
--trimming_mode=dynamic_fixed_point 
--error_margin=1

参数说明：
model：原始32位浮点网络定义文件。
weights：原始32位浮点网络参数。
model_quantized：量化后生成的网络定义文件quantized.prototxt。
iterations：用于评分网络的批次迭代次数。
gpu：GPU ID。
trimming_mode：量化策略可以是dynamic_fixed_point、minifloat或integer_power_of_2_weights。
error_margin：与32位浮点数网络相比绝对精度下降百分比。

1.2. 网络微调

./build/tools/caffe train 
--solver=examples/mnist/solver_finetune.prototxt
--weights=examples/mnist/lenet_iter_10000.caffemodel
--gpu=1 

参数说明：
solver：网络微调超参数配置文件，里面有指向quantized.prototxt的链接。假设微调后模型为quantized_lenet_iter_10000.caffemodel

1.3. 评价精度

//未量化评价
./build/tools/caffe test 
--model=examples/mnist/lenet_train_test.prototxt
--weights=examples/mnist/lenet_iter_10000.caffemodel
--gpu=1 
--iterations=100

//量化但未微调评价
./build/tools/caffe test 
--model=examples/mnist/quantized.prototxt
--weights=examples/mnist/lenet_iter_10000.caffemodel
--gpu=1 
--iterations=100

//量化且微调后评价
./build/tools/caffe test 
--model=examples/mnist/quantized.prototxt
--weights=examples/mnist/quantized_lenet_iter_10000.caffemodel
--gpu=1 
--iterations=100

参数说明：
model：网络定义文件。
weights：32位浮点网络参数。

2. 量化策略

2.1. 动态定点法（Dynamic Fixed Point Approximation）

CNN的不同部分具有显着的动态范围，
在大的层中，输出是数以千计的积累的结果，因此网络参数比层输出小得多。
定点只具有有限的能力来覆盖宽动态范围。
使用B位来表示，其中一位符号位s, fl是分数长度(小数长度)，其余为整数位，
除去符号位s，后面的都是尾数，每个尾数位数字为xi

n = (-1)^s * 2^(-fl)*sum(2^i * xi) , 0 =< i <= B-2
第一项确定符号，
第二项确定分数比例，
第三项确定总值大小(所有尾数对应的十进制的值)。

由于网络中的中间值具有不同的范围，所以希望将定点数值分组为具有常数f1(不同小数长度)的组中。
所以分配给小数部分的比特数在 同一组内是恒定的，但与其他组相比是不同的。

这里每个网络层分为三组：
    一个用于层输入，
    一个用于权重，
    一个用于层输出。
这可以更好地覆盖层激活和权重的动态范围，因为权重通常特别小，层的输入输出通常比较大(上一层各个神经元累计)。

上图为4个数 属于两个不同组的动态定点数的例子。
注意第二组的分数长度是负数。 
所以第二组的分数长度是-1，整数长度是9，位宽是8。
第一组的分数长度为2，整数长度为6，位宽为8。

量化参数

//动态bits
quantization_param {
  bw_layer_in: 4
  bw_layer_out: 4
  bw_params: 2
  fl_layer_in: 4
  fl_layer_out: 2
  fl_params: 1
}

2.2. 迷你浮点法（Minifloat Approximation）

量化参数

//8bits
quantization_param {
  precision: MINIFLOAT
  mant_bits: 3
  exp_bits: 4
}

2.3. 乘法变移位法（Turning Multiplications Into Bit Shifts）

量化参数

//weight为4bits
quantization_param {
    precision: INTEGER_POWER_OF_2_WEIGHTS
    bw_layer_in: 8
    bw_layer_out: 8
    fl_layer_in: 8
    fl_layer_out: 6
    exp_min: -8
    exp_max: -1
  }

3. 更新策略

反向更新策略

前向传播时，使用量化后的参数进行计算，同时保留量化后的参数和全精度的参数。
反向传播时，对全进度的参数进行更新。
之后再次对更新的参数进行量化，再次前向传播，反向传播更新全精度权重，如此往复。
保存网络权重时，保存量化后的参数，但是是以全精度位宽进行保存的，所以宏观上权重文件大小不变。

4. proto文件量化参数定义

// Message for layers with reduced word with arithmetic 
message QuantizationParameter{   
  enum Precision {     
    DYNAMIC_FIXED_POINT = 0;     
    MINIFLOAT = 1;     
    INTEGER_POWER_OF_2_WEIGHTS = 2;   
  }   
  optional Precision precision = 1 [default = DYNAMIC_FIXED_POINT];   
  enum Rounding {     
    NEAREST = 0;     
    STOCHASTIC = 1;   
  }   
  optional Rounding rounding_scheme = 2 [default = NEAREST];   
  // Dynamic fixed point word width   
  optional uint32 bw_layer_in = 3 [default = 32];
  optional uint32 bw_layer_out = 4 [default = 32];
  optional uint32 bw_params = 5 [default = 32];  
  optional int32 fl_layer_in = 6 [default = 16];
  optional int32 fl_layer_out = 7 [default = 16];
  optional int32 fl_params = 8 [default = 16];   
  // Minifloat word width   
  optional uint32 mant_bits = 9 [default = 23]; 
  optional uint32 exp_bits = 10 [default = 8];   
  // Integer-power-of-two weights   
  optional int32 exp_min = 11 [default = -8];   
  optional int32 exp_max = 12 [default = -1]; 
}