2022.7.10第十四次周报

目录

一、Network Pruning(网络剪枝)

1.Network Pruning

2.Practical Issue

2.1 weight pruning

2.2 neuron pruning

3.Why Pruning?

二、Knowledge Distillation(知识蒸馏)

1.Knowledge Distillation

2.Temperature for softmax

三、Parameter Quantization（参数量化）

1.Parameter Quantization

2.Binary Weights 

四、Architecture Design（Network架构设计）

1.Review:Standard CNN

2.Depthwise Separable Convolution

2.1Depthwise Convolution

2.2Pointwise Convolution

3.Low rank approximation

五、Dynamic Computation（动态计算）

1.Dynamic Computation

2.Dynamic Depth

3.Dynamic Width

4.Computation based on Sample Difficulty

---

一、Network Pruning(网络剪枝)

1.Network Pruning

神经网络的参数有很多，但其中有些参数对最终的输出结果贡献并不大，相反就显得冗余，将这些冗余的参数剪掉的技术称为剪枝。剪枝可以减小模型大小、提升运行速度，同时还可以防止过拟合。简单来说，network有多余的参数，将这些多余的参数减掉，实现network的compression。

 

那怎么评估weight或者neuron是冗余或者不重要的呢？

对权重而言，我们可以通过计算它的绝对值来判断重要程度。
对神经元而言，我们可以给出一定的数据集，然后查看在计算这些数据集的过程中neuron参数为0的次数，如果次数过多，则说明该neuron对数据的预测结果并没有起到什么作用，因此可以去除。

 

2.Practical Issue

之前的模型pruning剪枝可以从weight和neuron两个角度进行，下面就分别介绍实际可操作性。

2.1 weight pruning

如果我们现在进行weight pruning，进行weight pruning之后的network会变得不规则，这样的network是不好implement出来的。还有一个问题是，并没有把Network缩小。

 

2.2 neuron pruning

如图所示，删减neuron之后网络结构能够保持一定的规则，实现起来方便，而且也能起到一定的加速作用。通过上述可知，实际上做weight pruning是很麻烦的，通常我们都进行neuron pruning，可以更好地进行implement，也很容易进行speed up。

 

3.Why Pruning?

既然最后要得到一个小的network，那为什么不直接在数据集上训练小的模型，而是先训练大模型 

一个比较普遍接受的解释是因为模型越大，越容易在数据集上找到一个局部最优解，而小模型比较难训练，有时甚至无法收敛。

另外一个说法是大乐透假设(Lottery Ticket Hypothesis)

首先我们对一个大模型随机初始化它权重参数（红色）。然后我们训练这个大模型得到训练后的模型以及权重参数（紫色）。最后我们对训练好的大模型做pruning得到小模型。

如果我们使用pruned network的结构，再进行随机初始化random init（绿色），会发现这个network不能train下去。

如果我们使用pruned network的结构，再使用原始随机初始化original random init（红色），会发现network可以得到很好的结果。
 

 

二、Knowledge Distillation(知识蒸馏)

1.Knowledge Distillation

整个知识蒸馏过程中会用到两个模型：大模型 Teacher Net 模型和小模型Student Net模型。

用小的network去模拟大的network：

训练一个大网络，用小网络学习大网络。并计算两者之间的cross-entropy，使其最小化，从而可以使两者的输出分布相近。

 

2.Temperature for softmax

一个小技巧：同除一个参数T

 

三、Parameter Quantization（参数量化）

1.Parameter Quantization

less bits:使用更少bit来存储数据，例如一般默认是64位或者32位，那我们可以用16或者8位来存数据。

weight clustering:如图所示，最左边表示网络中正常权重矩阵，之后我们对这个权重参数做聚类，比如将16个参数做聚类，最后得到了4个聚类，那么为了表示这4个聚类我们只需要2个bit，即用00,01,10,11来表示不同聚类。之后每个聚类的值就用均值来表示。这样的一个缺点就是误差可能会比较大。

huffman encding:对于常出现的聚类用少一点的bit来表示，而那些很少出现的聚类就用多一点的bit来表示。

 

2.Binary Weights 

Binary Weights是以一种更加极致的思路来对模型进行压缩，即每个节点只用1或-1来表示，即只用+1,-1表示一个Weight。

下面简单介绍一下Binary Connect的思路，如下图示，灰色节点表示使用binary weight的神经元，蓝色节点可以是随机初始化的参数，也可以是真实的权重参数。

第一步我们先计算出和蓝色节点最接近的二元节点，并计算出其梯度方向

第二步，蓝色节点的更新方向则是按照红色箭头方向更新，而不是按照他自身的梯度方向更新。

最后在满足一定条件后，用离得最近的Binary Weight作为结果即可。 

 

四、Architecture Design（Network架构设计）

1.Review:Standard CNN

每个filter要处理所有的channel。从标准卷积CNN中看所需要的参数量。如上图示，输入数据由两个6*6的feature map组成，之后用4个大小为3*3的卷积核做卷积，最后的输出特征图大小为4个4*4的矩阵。每个卷积核参数数量为233=18,所以总共用到的参数数量为4*18=72个

 

2.Depthwise Separable Convolution

2.1Depthwise Convolution

将立体的，深度为2的filter分成两个平面的，不考虑之间的联系，然后分别对一个feature map进行卷积，得到下图结果。由于第一步得到的输出特征图是用不同卷积核计算得到的，所以不同通道之间是独立的，因此我们还需要对不同通道之间进行关联。

 

2.2Pointwise Convolution

为了实现关联，在第二步中使用了1*1大小的卷积核，并且通道数量等于输入数据的通道数量，然后按照正常的CNN做法，得到结果4个4*4的矩阵，并且做深度可分离卷积的过程参数数量比标准的CNN更少。

 

3.Low rank approximation

中间插入一个linear层，大小为K，那么也可以减少需要训练的参数。

 

五、Dynamic Computation（动态计算）

1.Dynamic Computation

该方法的主要思路是如果目前的资源充足，那么算法就尽量做到最好，比如训练更久，或者训练更多模型等；反之，如果当前资源不够，那么就先算出一个过得去的结果。

一个Network可以自由的调整它的运算量。

 

2.Dynamic Depth

让Network自由调整它的深度。训练一个很深的Network，在layer和layer中间添加一个额外的layer。如果运算资源比较充足，就跑过所有的layer；如果资源不充足，就选择部分的layer做输出。

 

3.Dynamic Width

让Network自由设定它的宽度。先设定几个不同的宽度，把同一个图片input进去，不同的宽度的output都不同，但我们希望和我们想要的输出越接近越好。

 

4.Computation based on Sample Difficulty

对简单的问题，一个layer可能就可以解决；对困难的问题。可能要很多个layer才能解决。所以我们希望让Network可以依据情况自己决定深度和宽度。