网络压缩--稀疏加速器--软硬件CoDesign

 

18/11/22

论文标题：Exploring the Granularity of Sparsity in Convolutional Neural Networks

CPVR2017的一篇文章

主题是探索关于CNN不同粒度剪枝下稀疏度与accuracy的关系，论文摘要中首先提到粗粒度/结构化的剪枝方式能为硬件实现带来便捷，而细粒度的剪枝手段能带来更加强的剪枝效果，从而带来更好的稀疏度（不影响精度前提），实验结果显示本文从不同粒度剪枝后的网络参数存储量视角出发，粗剪枝仍然可以带来较为不错的效果（storage-ratio）文章中细粒度的认知有些不同，个人将基于Vector级的剪枝归属于细粒度下

统一参数定义：R、S、K、C

首先是从参数稀疏度上看不同粒度下效果（CONV层做剪枝）：

上图中剪枝的实验网络为AlexNet，横坐标为参数稀疏度，纵坐标是网络精度，基于Filter上的剪枝效果带来的精度收益不高，细粒度剪枝角度（个人理解是神经元连接间剪枝方式）带来的稀疏度最高-精度基本不损失前提下。

尝试扩大剪枝步伐/stride，如下图

加入存储量的考量（包含稀疏参数的index，默认保存格式CSR）

精度基本不损失前提下，能看到从kernel轴剪枝的曲线逐渐追上了前两种剪枝方式。多加入几组网络，保证精度从存储量上看看：