基于连接重要性的稀疏剪枝

"SNIP: single shot network pruning based on connection sensitivity" 这篇文章提出了基于权重连接重要性（saliency）的剪枝方法，能够在深度模型训练之前（初始化阶段），通过mini-batch的多次采样，决定不同权重连接的重要性，进而根据剪枝目标生成剪枝模板（prunning mask）、应用于稀疏剪枝，从而节省了相对耗时的剪枝-微调迭代周期。

通常，深度网络的稀疏剪枝可以视作如下优化问题，即通过对参数集合的L0 范数施加不等式约束，确保模型收敛：

网络中第j 个权重连接的重要性（saliency）记作sj，则可按权重wj 的幅度或Hessian矩阵元素决定sj 的大小： 

此外，文章提出了一种新的