[论文阅读]Cross-Channel Intragroup Sparsity Neural Network

---

前言

论文名：Cross-Channel Intragroup Sparsity Neural Network
论文作者：Zilin Yu et.al.
机构：
	Hangzhou Dianzi University(杭州电子科技大学)
	Peiking University(北京大学)
	Cerebras Systems(一家AI初创公司)
期刊/会议名：Arxiv 2019
本文作者：XMU_MIAO
日期：2020/12/7

摘要

  现代深度神经网络依靠过参数化来实现最先进的泛化。但是过参数化的模型在计算上是昂贵的。网络修剪通常用于获得要求较低的部署模型。细粒度的剪枝去除参数张量中的单个权重，可以在精度降低很小的情况下实现高的模型压缩比。但在实际应用中，这种方法引入了数据流的不规则性，往往不能提高模型推理的效率。在粗粒度模型剪枝的同时，通过去除网络权值(例如整个$filter$)来实现令人满意的推理加速，通常会导致显著的精度退化。
  本研究引入了$Cross-channelintragroup(CCI)$，在保持良好模型性能的同时，避免了细粒度剪枝的推理效率低下。然后，我们提出了一种新的训练算法，该算法在$CCI$稀疏性的约束下表现良好。通过一系列的对比实验，我们证明了我们提出的$CCI$稀疏结构和相应的剪枝算法在推理效率上比现有技术有很大的提高，并且在未来的硬件加速条件下具有良好的性能。

1、Introduction

本文工作的一些贡献：

• 提出$CCI$稀疏结构（细粒度结构化剪枝网络）
• 理论分析了权重组（$weightgroup$）是如何影响稀疏性并且稀疏性如何影响$CCI-Sparsity$或$Balance$