本次介绍的方法为“深度压缩”,文章来自2016ICLR最佳论文 《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding
作者给出了AlexNet的一个简易model: https://github.com/songhan/Deep-Compression-AlexNet
,不过这model没什么软用
Introduction
神经网络功能强大。但是,其巨大的存储和计算代价也使得其实用性特别是在移动设备上的应用受到了很大限制。
所以,本文的目标就是:降低大型神经网络其存储和计算消耗,使得其可以在移动设备上得以运行,即要实现 “深度压缩”。
实现的过程主要有三步:
(1) 通过移除不重要的连接来对网络进行剪枝;
(2) 对权重进行量化,使得许多连接共享同一权重,并且只需要存储码本(有效的权重)和索引;
(3) 进行霍夫曼编码以利用有效权重的有偏分布;
具体如下图: