本文探讨了深度学习模型的压缩与加速方法，包括剪枝技术，如Deep Compression和Pruning Filters for Efficient Convnets，这两种方法通过删除不重要的连接和滤波器来减少模型复杂度。此外，介绍了SqueezeNet网络结构优化，通过1*1卷积和fire模块设计，减少了参数数量而不牺牲性能。最后，讨论了矩阵运算角度的量化策略，将浮点型数据转换为整型以提升运算速度。
1、剪枝
（1）Deep Compression这篇文章（Stanford的Song Han）
如图 1所示，剪枝需要三个步骤，首先是训练一个普通的神经网络；然后我们选择一个阈值，将权重小于阈值的连接剪开，这样就得到一个稀疏连接的网络了(图 2)；剪枝后网络性能肯定会下降一些，所以最后我们对这个稀疏网络进行再训练，将性能提上去。对AlexNet，剪枝可以减少9倍的参数，对VGG-16网络，剪枝能减少13倍参数数量。
（2）Pruning Filters for Efficient Convnets
作者提出了基于量级的裁剪方式，用weight值的大小来评判其重要性，对于一个filter，其中所有weight的绝对值求和，来作为该filter的评价指标，将一层中值低的filter裁掉，可以有效的降低模型的复杂度并且不会给模型的性能带来很大的损失，算法流程如下：
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
