（精读论文）剪枝Learning both Weights and Connections for Efficient Neural Networks

论文地址：论文阅读

一、精读论文

论文题目

Learning both Weights and Connections for Efficient Neural Networks## 论文作者

刊物名称

神经信息处理系统大会（NeurIPS），前称 NIPS

出版日期

2015年

摘要

神经网络是计算密集型和内存密集型的，这使得它们很难部署在嵌入式系统上。此外，传统的网络在培训开始前就已经确定了架构;因此，培训不能改善体系结构。为了解决这些限制，我们描述了一种方法，通过只学习重要的连接，在不影响神经网络准确性的情况下，将神经网络所需的存储和计算量减少一个数量级。我们的方法使用三步法去除冗余连接。首先，我们训练这个网络，让它知道哪些连接是重要的。接下来，我们删除不重要的连接。最后，我们重新训练网络来微调剩余连接的权值。在ImageNet数据集上，我们的方法将AlexNet的参数数量减少了9倍，从6100万减少到670万，并且没有造成精度损失。VGG-16的类似实验发现，参数总数可以减少13×，从1.38亿减少到1030万，同样不损失精度。

关键词

权重剪枝

总结

文章介绍了一种参数剪枝（weights pruning）方法，应该算是最基础的一种方法了，直接按照参数是否大于某个阈值来判断哪些参数是重要的，哪些参数是不重要。文章主要目的是想要压缩模型大小后将模型运行在能耗更小的内部SRAM里，在速度提升上文章没有过多强调。

二、研读总结（分三段总结，500字左右）

1、 针对问题与解决方法

文章首先讲了LeNet、AlexNet和VGG这些当时经典的网络的参数量的非常大，同时需要的存储空间也越来越大；然后以能量消耗的角度谈了这些模型运行具体能消耗多少能量。这就引出了本文的目标，就是对较大的网络模型进行剪枝以降低能量消耗从而能在移动端实时运行。

文章提出的剪枝策略是：①在初始模型训练完成后，②移除权重低于特定阈值的所有连接，即从稠密连接的网络剪枝得到一个稀疏连接的网络，③然后重新训练得到的网络用来减小精度损失。其中，②③两步可以多次迭代进行以得到最优模型。

该策略能在剪枝后还能保持原有的精度几乎不损失。

Learning Connections in Addition to Weights
这里文章分析了一些（重）训练中使用的方法对重训练的影响。

2、 数据实验与结论分析

可以看出，该方法在几乎不损失精度的前提下，能对一些通用简单模型进行9-13X的压缩，如VGG能压缩13倍。与其他方法的对比中也能看出其优越性：

3、 科研启发与积累工作

正在复现对vgg网络的瘦身工作。