[读书笔记] Interleaved Structured Sparse Convolutional Neural Networks读书笔记

基于交错组卷积的高效深度神经网络（IGC V2）
论文地址：https://arxiv.org/pdf/1804.06202.pdf

---

目的

利用消除卷积核冗余的方法构建有效的卷积神经网络

---

介绍

卷积神经网络的改进主要包含两个部分：

• 网络压缩：压缩预训练模型等；
• 结构设计：更小的卷积核，稀疏核等；

用多个冗余更少的核形成一个核又分为两条主线：

• 乘以低秩矩阵以形成高秩矩阵
• 乘以稀疏矩阵

（加粗部分为本文作者的改进方向）

本文提出的改进：IGC块中的 1*1 卷积可进一步分解

---

本文的结构

一个常规卷积可以表示为

y = Wx
其中
x为SC _i的矢量，S为卷积核尺寸（例：3*3卷积 S=9）；
y为C _o大小的矢量，C _o为输出通道数；

Xception，deep roots和 IGC 构成 W 的方式

$$W=P^2W^2P^1W^1x$$ W ²,W ¹中至少有一个是block-wise稀疏的，即如下矩阵

Wi=⎡⎣⎢⎢⎢⎢⎢⎢Wi10⋮00