模型压缩（神经网络近似）

主要分三个手段：

1. 低秩近似：image2col可以转成矩阵，训练得到权重矩阵，对权重矩阵先SVD分解（特点：对角线上特征值越来越小），将后面较小的几位去掉。（SVD近似,KPSVD近似）。张量分解：比较work的代表，cp分解（应用：xception）
2. 稀疏近似（将大部分都变成0）：拿出权重看一下分布情况，发现权重数值大部分是以0为均值的高斯分布（但是不是0）。掩膜将一小比例部分权重数值强制为0不再更新。一般能压缩到原来一半，但是cpu依然不够跑
3. 量化quantization：   effective quantization methods for recurrent neural networks   2016

• 神经网络参数的量化：模型权重直接变小
• 激活也量化：推断变块
• 梯度也给量化：反向传播加速，减少training时间