本文介绍了针对深度卷积神经网络加速的学习滤波器裁剪准则，通过引入可微的NAS模块，为每一层选择合适的裁剪标准，解决了传统方法的一刀切和独立裁剪问题。实验表明，这种方法在压缩FLOPs的同时保持了高精度，但实验结果的充分性和搜索空间有限是其不足之处。
Learning Filter Pruning Criteria for Deep Convolutional Neural Networks Acceleration
https://openaccess.thecvf.com/content_ECCV_2018/papers/Zehao_Huang_Data-Driven_Sparse_Structure_ECCV_2018_paper.pdf
background
NN部署balabala~~~。
related work and the limit
经典的三段式（training-pruning-finetune）裁剪方法，很重要的一个步骤就是如何选择合适的重要性评判标准（select an appropriate pruning criterion is the key ingredient）。现有方法存在两个问题：1、对所有层采用相同的criterion，没有考虑到不同层特征的不同分布；2、现有方法大多贪心地逐层独立裁剪，没有考虑到各层对最终精度的协作作用。
novel points
提出了加入criterion采样器的方法，通过学习来为每一层选择合适的criterion，同时该采样器是在学习中通过Loss来同步更新的，所有能够同时考虑所有层。
本质上，就是对SFP等方法加入了可微NAS的模块，搜索空间为criterion （对每一层有L1 / L2 / GM 三种选择， 所以搜索复杂度只有 3N）
methodology
采用基于可微梯度的NAS搜索方法（Darts系列）来实现采样器Sampler（就是对每一层的每一种待选criterion加一个结构参数α）
最低0.47元/天 解锁文章
1037
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
