2019.9.25 Learning Versatile Filters for Efficient Convolutional Neural Networks（多用卷积核论文笔记）

华为诺亚方舟实验室开源即插即用的多用卷积核(NeurIPS 2018)

1.空间多用卷积核（Spatial Versatile Filters）v1

对于原有的卷积核 F 大小例如d×d，生成一系列子卷积核{F1,F2…Fs}，其中s为d/2向上取整。每个Fi都通过Fi*Mi来计算，掩膜Mi的生成方式为：

上图展示了5×5卷积核的计算过程，最后将三个子卷积核提取的特征进行concat即可。

原文写的作用为：与原卷积滤波器相比，本文提出的空间通用滤波器可以在不增加滤波器数目的情况下提供更多的特征图。所以反过来讲，如果得到同样通道数量的特征图，则可以使用更少的滤波器。

2.通道多用卷积核（Channel Versatile Filters）v2

.

传统卷积核的通道数是和输入数据的通道数相等的。

而本文利用信道步长（channel stride）g为原始卷积核定义了子卷积核，chat为子卷积通道数，然后使用这些卷积核在所有通道中的部分通道分别进行提取特征，如上图所示，最后将这些特征concat。

注意，对于神经网络的第一层和最后一层，我们不使用通道跨步方法，因为第一层的输入通道通常非常小，而最后一层的输出通道恰好是ground-truth标签的数量

通过上面两步卷积核优化，很大减少了权重，存储和计算量。

论文地址：
http://papers.nips.cc/paper/7433-learning-versatile-filters-for-efficient-convolutional-neural-networks.pdf
开源地址：
https://github.com/huawei-noah/Versatile-Filters