[论文阅读]Dynamic Network Surgery for Efficient DNNs

---

前言

论文名：Dynamic Network Surgery for Efficient DNNs
论文作者：Yiwen Guo et.al.
机构：Intel Labs China（英特尔中国实验室）
期刊/会议名：NIPS 2016
本文作者：XMU_MIAO
日期：2020/12/6

摘要

  深度学习已经变成一种提高机器智能的常见技术。可是，大部分现存深度模型结构异常复杂，使得它们难以在部署在计算能力受限的移动平台。
  本文中，提出一种名为$dyanmicnetworksurgery$网络压缩方法，其通过动态剪枝显著减少网络复杂度。不同于之前的基于贪心的剪枝策略（直接选绝对值小的某些权值剪枝），我们将$splicing$（拼接，对某些剪枝后的权值进行恢复）操作融入到整个剪枝过程中以防止不正确的剪枝，并使其成为一种连续的网络维护。
  实验证明了该方法的有效性。在没有精度损失的情况下，所提方法可以有效地压缩$\text{LeNet-5}$和$\text{AlexNet}$中的参数，分别压缩到原来的108倍和17.7倍，这证明了它比最近的剪枝方法相比有很大的优势。

1、Introduction

  "无损失"的网络压缩通过剪枝不重要的参数并重训练来达到既压缩模型大小又无精度损失，示例如图1(b)所示

由于神经网络隐藏层复杂的内部连接，开始剪枝之后参数的重要性可能会发生急剧的变化，这会造成两个问题：
（1）造成不可挽回的网络破坏。被剪枝的参数没有机会恢复，不正确的剪枝会造成严重的精度损失。
（2）训练效率不高。迭代剪枝中包含了retrain等操作。

  在这篇文章中，我们试图解决上述问题。我们提出通过持续的网络维护来对冗余连接进行剪枝，我们称之为$dynamicnetworksurgery$，其主要包括两个关键操作：$\text{pruning}$和$\text{splicing}$。在$\text{pruning}$阶段，对网络参数进行剪枝，压缩模型大小，但一些不正确的剪枝和过度剪枝会造成精度损失。在$\text{splicing}$阶段，一旦发现修剪后的权重很重要，就可以在任何时候对这些权值进行恢复。这两个阶段构成了一个训练过程，并将网络权重动态分为两类，核心训练过程如上图1(a)所示，第二部分为其进行详细说明。

2、Dynamic Network Surgery

2.1 Notations

假设一个深度神经网络可以表示为 { W k : 0 ≤ k ≤ C } \{W_{k}:0\le k \le C\} { Wk​