每天一篇论文 351/365 An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates

AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates

摘要

结构化权值剪枝是DNNs中一种具有代表性的模型压缩技术，它可以减少存储和计算需求，加快推理速度。由于柔性超参数的数量庞大，需要一个自动确定超参数的过程。
本文提出了一种自动结构化剪枝框架AutoCompress，其主要性能改进如下：（i）将结构化剪枝方案的组合有效地融入到自动剪枝过程中；（ii）采用了最新的基于ADMM的结构化权重剪枝算法作为核心算法，并提出了一个新的额外的净化步骤，以进一步减轻重量而不损失准确度；以及（iii）开发有效的启发式搜索方法
基于经验的引导搜索，取代了原有的与目标剪枝问题有潜在不相容性的深度强化学习技术。在CIFAR-10和ImageNet数据集上进行的大量实验表明，对于以前无法实现的权值和浮点数，AutoCompress是实现超高修剪率的关键。作为一个例子，在相同的精度下，AutoCompress的剪枝率（实际参数数减少120倍）比先前的自动模型压缩工作高出33倍。在智能手机的实际测量中，从AutoCompress框架中观察到显著的推断加速。模型链接http://bit.ly/2VZ63dS

贡献

相较之前方法的局限性，该方法提出三点创新性设计：
（1）提出混合型的结构化剪枝维度；
（2）采用高效强大的神经网络剪枝算法 ADMM（交替乘子优化算法）对训练过程中的正则项进行动态更新；
（3）利用了增强型引导启发式搜索的方式进行行为抽样。在 CIFAR 和 ImageNet 数据集的大量测试表明 AutoCompress 的效果显著超过各种神经网络压缩方法与框架。在相同准确率下，实际参数量的压缩相对之前方法最大可以提高超 120 倍。

内容介绍转