网络压缩-0、训练时对参数的更新进行限制，使其趋向于稀疏

网络压缩(network compression)

尽管深度神经网络取得了优异的性能， 但巨大的计算和存储开销成为其部署在实际应用中的挑战。 有研究表明，神经网络中的参数存在大量的冗余。 因此，有许多工作致力于在保证准确率的同时降低网路复杂度。

0、训练时对参数的更新进行限制，使其趋向于稀疏.

核参数稀疏： 是在训练过程中，对参数的更新进行限制，使其趋向于稀疏.
对于稀疏矩阵，可以使用更加紧致的存储方式，如CSC，
但是使用稀疏矩阵操作在硬件平台上运算效率不高，
容易受到带宽的影响，因此加速并不明显。

在训练过程中，对权重的更新加以正则项进行诱导，使其更加稀疏，使大部分的权值都为0。
http://papers.nips.cc/paper/6504-learning-structured-sparsity-in-deep-neural-networks.pdf

动态的模型裁剪方法
https://arxiv.org/pdf/1608.04493.pdf

包括以下两个过程：pruning和splicing，其中pruning就是将认为不中要的weight裁掉，
但是往往无法直观的判断哪些weight是否重要，
因此在这里增加了一个splicing的过程，
将哪些重要的被裁掉的weight再恢复回来，
类似于一种外科手术的过程，将重要的结构修补回来。
作者通过在W上增加一个T来实现，T为一个2值矩阵，起到的相当于一个mask的功能，
当某个位置为1时，将该位置的weight保留，为0时，裁剪。
在训练过程中通过一个可学习mask将weight中真正不重要的值剔除，从而使得weight变稀疏。

特点：
     核的稀疏化可能需要一些稀疏计算库的支持，其加速的效果可能受到带宽、稀疏度等很多因素的制约；