主要问题
DNN(Deep Neural Networks)的冗余性决定了参数个数不会对网络的精度造成影响。此外,SGD(Stochastic Gradient Descent)所需要的精度仅为6~8bit,因此合理的量化网络也可保证精度的情况下减小模型的存储体积
影响
DNN压缩看参考Stanford大学Han Song博士的几篇论文,如下:
Learning both Weights and Connections for Efficient Neural Networks
Regularizing Deep Neural Networks with Dense-Sparse-Dense Training
Compressing Deep Neural Networks with Pruning , Trained Quantization and Huffman Coding
算法的主要实现思路是发现对网络贡献较小的参数并精简,然后重新训练精简后的稀疏网络以达到减少非0网络参数的个数并保留或提高网络精度的目的,此类方法属于改变网络密度类方法。
图1 Deep Compression的深度神经网络剪枝,量化和编码的示意框图。
量化技术
深度神经网络的量化技