论文笔记-IGCV3：Interleaved Low-Rank Group Convolutions for Efficient Deep Neural Networks

介绍

在这篇论文中，作者同时使用低秩核和稀疏核（low-rank and sparse kernel）来组成一个密集kernel。基于ICGV2的基础上，作者提出了ICGV3。

近几年，卷积网络在计算机视觉上的有效性已经得到了验证。目前卷积网络的发展主要有两个方向：一是朝着更深的方向发展，在网络各层之间增加skip connection，使得训练更深的网络成为可能；二是简化卷积网络的结构，消除里面的冗余性，增加更多的有效计算，同时减小参数和总计算的数量。

简化网络结构的方法主要有：

采用低精确度的核
该方法将卷积核内的权重值由浮点型数据，转变为采用更少bit位表示的数据类型，如采用二进制表示权重，使得权重值仅为-1或+1，这样在网络计算时，就减少了存储空间的使用。

采用稀疏或低秩核
稀疏核主要是通过采用L1或L2正则化来增加核的稀疏性，稀疏核中只有通过将部分权重值设为0，从而减少计算量。

低秩卷积核主要是通过将一个大的卷积核分解成小的卷积核相乘的形式，如一个二维卷积核的大小为100*100，可以将其分解为100*10和10*100两个卷积核相乘的形式。