模型加速之轻量化网络

模型加速之轻量化网络

当前物体检测结构大都依赖使用卷积网络进行特征提取，即 Backbone，通常使用 VGGNet、ResNet 等优秀的基础网络，但是这些网络往往计算量巨大，依赖这些基础网络的检测算法很难达到实时运行的要求，尤其是在 ARM、FPGA以及 ASIC 等计算力有限的移动端硬件平台。因此如何将物体检测算法加速到满足工业应用要求，一直是关键性问题。

1. 轻量化设计: 从模型设计时采用一些轻量化的思想，例如采用深度可分离卷积、分组卷积等轻量卷积方式、减少卷积过程的计算量，此外采用全局池化来取代全连接层、利用 1 x 1 卷积实现特征的通道降维，也可以降低模型的计算量，这两点在众多网络中得到应用。
   2 .BN 层合并: 在训练检测模型时，BN 层可以有效的加速收敛，并在一定程度上防止模型过拟合，但在前向测试时，BN 层的存在也增加了多余的计算量。由于测试时 BN 层的参数已经固定，因此可以在测试时将 BN层的计算合并到卷积层，从而减少计算量，实现模型加速。
2. 网络剪枝: 在卷积网络成千上万的权重中，存在着大量接近 0 的参数，这些属于冗余的参数，去掉后模型也可以基本达到相同的表达能力，因此众多众多研究者从此为出发点，搜索网络中的冗余卷积核、将网络稀疏化，称之为网络裁剪。具体讲，网络剪枝有训练中稀疏与训练后剪枝两种。
3. 权重量化:是指将网络模型中高精度的参数量化为低精度的参数，从而加速计算的方法。高精度的模型参数拥有更大的动态变化范围，能够表达更丰富的参数空间，因此训练中通常使用 32 位浮点数 (单精度) 作为网络参数模型。训练完后成为了减小模型大小，通常将 32 未浮点数量化为 16 位浮点数的半精度，甚至 int8的整型，0 与 1 的 二值类型。
4. 张量分解: 由原始网络参数中存在大量冗余，除了剪枝的方法外，我们还可以利用 SVD 分解和 PQ 分解，将原始张量分解为低秩的若干张量，以减少卷积的计算，提升前向速度。
5. 知识蒸馏:大的模型拥有更强的拟合能力和泛化能力，而小的模型拟合能力较弱，且容易造成过拟合，使用大模型指导小模型训练保留大模型的有效信息，实现知识蒸馏。

目前主流的轻量网络 SequeezeNet、MobileNet 以及 ShuffleNet， 后续会一一介绍。