神经网络剪枝系列一：背景简介

前言

本系列主要是来一起探讨神经网络剪枝技术的实现和应用过程的。包括：实现原理，代码实现 ，实验结果分析等内容。

神经网络剪枝系列一：背景简介

背景

目前的大规模神经网络模型普遍存在“过参数化”的情况，即部分参数对最终的输出结果贡献不大，此类参数被认为是“冗余的”。同时对于资源有限的设备来说，如何从大网络里面提取表征能力最强的小网络就很重要了。
当下，已经有不少工作在研究如何减少在训练过程中的资源占用。剪枝就是其中一种方法。剪枝顾名思义就是通过算法筛选并剪除冗余参数，并确保剪枝得到的小网络在精度上与原始网络相当，小网络运行速度更快模型文件更小，从而降低计算与存储开销。

分类

按照剪枝的粒度，此技术可分为非结构化剪枝与结构化剪枝。所谓的结构化和非结构化是根据，剪枝的规律来定的。

1. 非结构化剪枝：针对神经网络参数矩阵的每个参数，删除对神经网络最终预测精度贡献最小的冗余权重，例如剪掉矩阵里面的0值元素，按照权重绝对值的大小排序等。非结构化剪枝由于冗余权重出现位置随机，删除神经网络参数可以得到一个随机稀疏的权值矩阵。下图是一个关于非结构化剪枝的示意图。左图中是原始的未被剪枝的网络，每一个输入neuron和输入neuron间都有一个权值连接。通过剪枝算法，可以删除一些不必要的权值从而大大减小了模型尺寸和不必要的计算，被剪枝后的网络如右图所示。
   
2. 结构化剪枝：结构化剪枝