Selective Kernel Networks阅读笔记

CVPR 2019
Xiang Li, Wenhai Wang, Xiaolin Hu, Jian Yang
论文地址

一、简介

众所周知，视觉皮层神经元的感受野大小受刺激调节，在构建CNN时很少考虑这一点。为此，我们提出了一种CNN中的动态选择机制，允许每个神经元根据输入信息的多尺度自适应的调整其感受野大小。

设计了一种称为选择核（SK）单元的构建块，利用这些分支中的信息指导Softmax注意力对不同核大小的多个分支进行融合，对这些分支的关注不同，融合神经元的有效感受野大小也不同。

二、方法

2.1 SK Conv

为了使神经元能够自适应地调整其射频大小，我们提出了一种自动选择操作，即在不同核大小地多个核之间进行选择性核卷积。我们通过Split、Fuse和Select来实现SK卷积，如上图所示，我们以分裂两个特征为例。

Split：

使用核大小为3和5的卷积进行分裂，其中5×5的卷积使用膨胀卷积来提高计算效率。

Fuse：

我们的目标是使神经元能够根据内容自适应的调整其射频大小。其基本思路是使用门来控制从携带不同尺度信息的多个分支流向下一层神经元的信息流。为了实现这一目标，门需要整合来自所有分支的信息。使用全局平均池来嵌入全局信息，以生成通道方面的统计信息。使用全连接层实现对自适应选择的指导，并降低了维度以提高效率。

公式如下：

Select：

跨通道的关注用于自适应地选择由紧凑特征描述符z引导的不同空间尺度的信息。

2.2 网络架构

三、实验