DropNet: Reducing Neural Network Complexity via Iterative Pruning（论文阅读）

说明

现代深度神经网络需要大量的计算时间和计算能力来训练和部署，这限制了它们在边缘设备上的应用。受彩票假设(Frankle&Carbin，2018)中迭代权重剪枝的启发，我们提出了一种迭代剪枝方法DropNet，它通过剪枝节点/滤波器来降低网络复杂度。DropNet迭代地删除所有训练样本中具有最低平均postactivation value的节点/滤波器。经验上，我们表明DropNet在不同的场景中都是稳定的，包括使用MNIST和CIFAR数据集的MLP和CNN。实验表明，高达90%的节点/滤波器可以被移除，而不会有任何明显的精度损失。即使在重新初始化权重和偏差的情况下，最终修剪后的网络也表现良好。DropNet还具有类似于Oracle的精确度，它贪婪地一次删除一个节点/过滤器，以最大限度地减少训练损失，从而突出其有效性。

贡献

1. 提出的DropNet，是一种带重新初始化权重的迭代节点/滤波器剪枝方法，它迭代地删除所有训练样本(无论是分层的还是全局的)激活后平均值最低的节点/滤波器，从而降低了网络复杂度。
2. 与几个基准指标相比，DropNet在广泛的场景中实现了有较好的鲁棒性。DropNet实现了与Oracle类