模型量化综述
- 一、章节介绍
- 一、总览图1显示了可能导致过参数化的三个设计考虑因素:1)网络结构,2)网络优化,3)硬件加速器设计。
- 二、本文主要研究卷积神经网络的网络优化问题。它的组织如下:
- 2. Convolutional Neural Network
一、章节介绍
5. Summary(总结)
5.1. Pruning(剪枝)
第3节显示了剪枝是压缩神经网络的一种重要技术。在本文中,我们讨论了分为:静态剪枝和2)动态剪枝的技术。以前的静态剪枝是研究的主要领域。recently,动态剪枝已经成为一种新的趋势,因为动态剪枝可以在静态剪枝提高的性能基础上进一步提高性能。
pruning(剪枝)的方法:
- Element-wise pruning
Element-wise pruning improves weight compression and storage.(改善了权重的压缩和存储能力) - Channel-wise and shape-wise pruning(通道和形状)
用专门的硬件和软件计算库,可以加速通道上和形状上的剪枝。 - Filter-wise and layer-wise pruning(按过滤方式和按分层方式进行剪枝)
过滤式和分层式剪枝可以显著降低计算复杂度。
5.2. Quantization(量化)
第4节总结了量化技术。它描述了二值化量化神经网络,降低精度网络,以及它们的训练方法。我们描述了低位数据集验证技术和结果。我们