DNN模型压缩：综述

模型压缩：Deep Compression

以剪枝和量化为主要压缩方式减小模型大小和计算量，使得模型可以应用在计算和存储资源有限的嵌入式等设备上。

剪枝Pruning

资料

• 博客：深度学习模型压缩方法（3）-----模型剪枝（Pruning）
• 博客：深度学习剪枝

论文

应用

• pass

量化Quantification

资料

• 博客：神经网络模型量化论文小结

论文

• Google：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 论文地址

应用

• Caffe： Ristretto量化工具
• TensorFlow Lite量化模型
• Nvidia: TensorRT直接量化方案： 官网与论文地址

Caffe: Ristretto 量化方案

资料

1. 参考：
2. 论文：Ristretto
3. 官网：

模拟硬件加速器算法的数据路径

给定一个完整的精度参考网络，为了模拟浓缩层，可用以下三个步骤：

1. 将层输入和权重的量化为精度降低的格式（分别使用m和n位表示数字）
2. 使用量化值执行MAC操作（MAC：卷积层和全连接层的一系列乘法和累加）
3. 最终结果再次量化
   

量化策略

1. 动态固定点：修改不同的定点格式。
2. 迷你浮点：缩短位宽的浮点数。
3. 二次幂参数：硬件实现时，具有二次幂参数的层不需要任何乘法器。

量化的舍入方案

• 最近的偶数
• 随机舍入

1. 最近的偶数
   最近偶数法是一个无偏的方案，它舍入到最接近的离散值。其中，贝塔表示量化步长，
   [x]表示小于或等于x的最小量化值。
   
2. 随机舍入
   

在这个再训练过程中，网络学习如何用限定字参数对图像进行分类。
由于网络权重只能具有离散值，所以主要挑战在于权重更新。
我们采用以前的工作（Courbariaux等1）的思想，它使用全精度因子权重（full precision shadow weights）。
对32位FP权重w应用小权重更新，从中进行采样得到离散权重w’。
微调中的采样采用 随机舍入方法(Round nearest sampling) 进行，Gupta等2人成功地使用了这种方法，
以16位固定点来训练网络。

使用阴影权重进行微调。 左侧显示了具有全精度阴影权重的训练过程。 在右侧，微调网络以验证数据集为基准。 量化值以橙色表示。

浮点数表示法

1. 浮点数的二进制表示：参考：浮点数的二进制表示(IEEE 754标准)

整数部分用除2取余的方法，能整除则为1，否则为0；
小数部分用乘2取整的方法，能到1则为1，否则为0。

例1：浮点数128.125，表示为：10110010.001
转换成二进制的浮点数：即把小数点移动到整数位只有1，即为：1.0110010001 * 2^111，111是二进制，由于左移了7位，所以是111
例2：3.14159 我们直接对它进行转换，则为11.0010010000111111001…
12^1 + 12^0 + 1*2(-3)+…
无法精确表示3.14159.

2. BCD码表示法：4位二进制数表示一位浮点。

3. 阶码尾数表示法
   例如：浮点数128.125，表示为：10110010.001
   
   这种思想来源于数学中的指数表示形式(科学计数法形式)；
   10进制科学计数法 34.1 = 3.41 * 10^1
   2进制科学计数法 11.11 = 1.111 * 2^1

   一个二进制数 B 可以写成 B = 2^E * M
   一个十进制数 D 可以写成 D = 10^E * M
   一个R进制数 X 可以写成 X = R^E * M
   其中 E为指数，M为尾数， R为基数 。

更详细参考：MVision:ristretto