模型加速常用方法

常用方法

  随着计算机硬件的发展，越来越多的神经网络被设计出来，尤其在视觉方面，这些新的网络的检测或者分类结果比传统方法更好；但是，常用的神经网络都是由几十层，甚至上百层网络组成，每一层都需要数以万计的浮点计算，需要的计算量非常大，虽然现在的硬件发展也比较迅速，但是还不能满足神经网络的计算量要求，这些问题也导致人工智能落地项目很少，只能停留在实验室阶段。为了解决计算量大这一问题，提出了模型加速这一概念，经过模型加速处理，可以将一些模型部署到移动端，例如ARM、FPGA及ASIC等计算力有限的移动端硬件平台。

  当前，实现模型加速的方法很多，有轻量化设计、BN层合并、剪枝与量化、张量分解、蒸馏与迁移学习等，这些加速方法可以相互配合使用。

1、轻量化模型设计

  从模型设计时就采用一些轻量化的思想，例如采用深度可分离卷积、分组卷积等轻量卷积方式，减少卷积过程的计算量。此外，利用全局池化来取代全连接层，利用1×1卷积实现特征的通道降维，也可以降低模型的计算量，这两点在众多网络中已经得到了应用。

  对于轻量化的网络设计，目前较为流行的有SqueezeNet、MobileNet及ShuffleNet等结构。其中，SqueezeNet采用了精心设计的压缩再扩展的结构，MobileNet使用了效率更高的深度可分离卷积，而ShuffleNet提出了通道混洗的操作，进一步降低了模型的计算量。

2、BN层合并

  在训练检测模型时，BN层可以有效加速收敛，并在一定程度上防止模型的过拟合，但在前向测试时，BN层的存在也增加了多余的计算量。由于测试时BN层的参数已经固定，因此可以在测试时将BN层的计算合并到卷积层，从而减少计算量，实现模型加速。

3、网络剪枝

  网络剪枝：在卷积网络成千上万的权重中，存在着大量接近于0的参数，这些属于冗余参数，去掉后模型也可以基本达到相同的表达能力，因此有众多学者以此为出发点，搜索网络中的冗余卷积核，将网络稀疏化，称之为网络剪枝。具体来讲，网络剪枝有训练中稀疏与训练后剪枝两种方法。

4、权重量化

  是指将网络中高精度的参数量化为低精度的参数，从而加速计算的方法。高精度的模型参数拥有更大的动态变化范围，能够表达更丰富的参数空间，因此在训练中通常使用32位浮点数（单精度）作为网络参数的模型。训练完成后为了减小模型大小，通常可以将32位浮点数量化为16位浮点数的半精度，甚至是int8的整型、0与1的二值类型。典型方法如Deep Compression。

5、张量分解

  由于原始网络参数中存在大量的冗余，除了剪枝的方法以外，我们还可以利用SVD分解和PQ分解等方法，将原始张量分解为低秩的若干张量，以减少卷积的计算量，提升前向速度。

6、知识蒸馏

  通常来讲，大的模型拥有更强的拟合与泛化能力，而小模型的拟合能力较弱，并且容易出现过拟合。因此，我们可以使用大的模型指导小模型的训练，保留大模型的有效信息，实现知识的蒸馏。（老师和学生的关系）