DeepCompression思考

网上很少有Deepcompress的实现源码,前一段时间使用TensorFlow实现了一下,还是有些问题值得注意。

TensorFlow的局限性


TensorFlow支持的是一种静态图,当模型的参数确定之后,便无法继续修改。这对于逐阶段、分层的训练带来了一定的困难。具体在本项目中,权重的固定无法在单次模型训练中进行逐层的设置,只能采取一种比较麻烦的方法:量化完某一层后,先保存全局模型权重,然后清空TensorFlow的graph,重新建立新模型,并把对应量化层设置为不更新权重,最后加载模型权重,继续进行训练。
相比之下,pytorch使用了动态图,在定义完模型之后还可以边训练边修改其参数,具有很高的灵活性。这也是深度学习未来的发展方向。目前的开发者版本nightly中,TensorFlow也开始支持动态图的定义,但还未普及。

聚类算法的低效性


聚类算法是量化的前提,sklearn中提供了诸如K-Means,Mean-shift,Gaussian mixtures等可用的方法。其中K-Means是一种简单有效而较为快速的方法了。其算法计算是选择k个初始中心点,例如c[0]=data[0],…c[k-1]=data[k-1];对于data[0]….data[n], 分别与c[0]…c[k-1]比较,假定与c[i]差值最少,就标记为i;可以看到,在计算距离上,需要n*k次的距离计算,同时进行k个数据量,n次的排序。在个人电脑上,由于训练网络参数规模较小,因而无法体现出其运算时间。在对VGG这样大型的网络测试时,发现对于256个聚类中心,在fc的4096*4096维度的全连接层进行聚类时,耗时超过20分钟(没有运行完便停止了),严重影响了算法的实用性。目前的解决办法是抽样采样,如对1%的参数进行聚类作为整体参数的聚类中心。这样操作后聚类时间能缩短到5分钟以内。
有没有一个更加简便的方法呢?对于训练好的一个模型,特别是经过l2正则化的,其参数分布基本上可以看作是一个高斯分布模型,对其进行拟合即可得到分布参数。这样问题就转化为:对一个特定的高斯分布模型,是否能够根据其参数直接得到聚类中心?如果可以,那这个聚类过程将会大大缩短时间:首先对权重进行直方图划分,得到不同区间的参数分布图,再由此拟合高斯函数,最后用这个函数获得聚类中心。这个工作需要一定的数学方法,这里只是简单猜想一下。

重训练带来的时间成本


我们日常说道的数据压缩,是根据信源的分布、概率进行的,特别是通过构建字典,来大大减少信息冗余。这套方法直接使用在模型上,效果往往不好。一个最重要的原因就是参数虽然有着美妙的分布,但几乎没有两个相同的参数。在对Alexnet进行gzip压缩后,仅仅从233MB下降到216MB,远不如文本以及图像压缩算法的压缩率。因此传统方法难以解决深度学习的问题。
剪枝量化虽好,但其问题也是传统压缩所没有的,那就是重训练所带来的时间成本。这个过程就是人为为参数增加条件,让网络重新学习降低loss的过程,因此也无法再重新恢复成原始的网络,因为参数不重要,重要的是结果。这个过程和训练一样,是痛苦而漫长的。又因为是逐层训练,一个网络的训练时间和层数密切相关。Mnist这种简单任务,512*512的权重量化重训练,由最开始的8s增加到36s,增加了约4倍时间。如果在GPU服务器上,Alex的时间成本可能还是勉强接受的,要是有GoogleNet,ResNet这种,真的是要训到天荒地老了。不过也不排除另一个更大的原因,就是自己的代码缺乏优化。实现过程中,有很多操作无法直接实现,或者没有找到简便的方法,不得不绕了个弯子,确实会严重降低性能。

总结


Deepcompression的效果有目共睹,但其实现过程却比较复杂也耗费大量时间。当然作为服务提供商,需要大规模部署,有足够的算力,是可以完成这样大的工作量的。不过模型压缩仅仅是第一步,更深层次的问题在于运算速度。量化是一个很好的方向,但靠聚类带来的量化中心往往难以计算,这时需要人为设计一些计算有利的量化方法,如二值网络。相信随着未来移动端需求的增长,网络压缩、加速工作会更加重要。

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值