network compression 顶会文章简介 2017

1、ThiNet：A Filter Level Pruning Method for Deep Neural Network Compression

作者将filter修剪作为一个优化问题提出，他们通过利用下一层计算出的统计信息来修剪filter。该方法的优点在于它并不改变原有网络的结构，只是调整filter的等级，并抛弃那些不太重要的filter来在训练和推断的阶段都能够很好地加速和压缩CNN模型。

2、Domain-adaptive deep network compression

在大型数据集上训练过的DNN可以通过fine-tuning来很容易地转移到一个更少的数据集上。但是虽然在前者上学习到的特征可以很好地应用到后者上，但对后者来说，这些特征往往有些庞大。作者的工作就是提出了在区域转移后压缩网络的方法。

他们专注于基于低轶矩阵分解的压缩算法。当时所有的压缩算法都是在压缩已训练完成的网络的权重，却都忽视了网络激活层的统计信息。通过研究，他们发现区域转移后，在激活层上发生了巨大的变化，如果将其考虑进去，就能取得很好的压缩效果，因为这会导致一个有着解析解的rank-constrained回归问题。同时，由于作者的方法考虑了目标区域，它就能更好地去除富余的权重。