【深度学习】模型压缩

Introduction

预训练后的深度神经网络模型往往存在着严重的 过参数化 问题，其中只有约5%的参数子集是真正有用的。为此，对模型进行 时间 和 空间 上的压缩，便谓之曰 模型压缩 。

模型压缩技术包括 前端压缩 和 后端压缩 这两部分。

对比

	前端压缩	后端压缩
实现难度	较简单	较难
可逆否	可逆	不可逆
成熟运用	剪枝	低秩近似、参数量化
待发展运用	知识蒸馏	二值网络

前端压缩

不会改变原始网络结构的压缩技术。

1. 知识蒸馏

蒸馏模型采用的是 迁移学习，通过采用 预先训练好 的 复杂模型（Teacher model）的 输出 作为 监督信号 去训练另外一个简单的网络。这个简单的网络称之为student model。

2. 紧凑的模型结构设计

“挤压”设计 与 “扩张”设计。

3. 滤波器层面的剪枝

在训练时使用稀疏约束（加入权重的稀疏正则项，引导模型的大部分权重趋向于0）。完成训练后，剪去滤波器上的这些 0 。

• 优点：简单。
• 缺点：剪得不干净。

后端压缩

会大程度上改变原始网络结构的压缩技术，且不可逆。

1. 低秩近似

使用结构化矩阵来进行低秩分解。

• 优点：该方法在中小型网络模型上效果不错。
• 缺点：在大型网络模型上玩不转。

2. 未加限制的剪枝

完成训练后，不加限制地剪去那些冗余参数。

• 优点：使模型更加成熟。

• 缺点：易导致网络结构随机且稀疏。由于被剪除的网络连接在分布上缺乏连续性，导致在实际使用模型时，CPU cache和内存之间会增加很多不必要的频繁切换。这种“每次少放，多次拿取”的弊端，使得实际使用中的加速效果大打折扣。
  同时，剪枝后，通用的运行库（比如conv2d）不能用了，还得另行设计新的运算接口。So 麻烦。。

3. 参数量化

从权重中 归纳出 若干的“代表”，由这些“代表”来 表示某一类权重 的 具体数值 。

4. 二值网络

所有 参数的取值 只能是 ±1 。

---

[1] 深度压缩之蒸馏模型