CVPR2021 DRConv：动态区域感知的卷积

摘要

在本文中，作者提出了一种名为动态区域感知卷积（DRConv） 的新卷积，它可以自动将多个滤波器分配给具有相似特征表示的空间区域。标准卷积层通常是增加滤波器的数量以提取更多的视觉信息，但这会导致较高的计算成本。而本文的DRConv使用可学习的指导将增加的滤波器转移到空间维度，这不仅提高了卷积的表示能力，而且保持了计算成本和标准卷积的平移不变性 。DRConv是处理复杂多变空间信息分布的一种有效而优雅的方法，由于其即插即用的特性，它可以代替现有网络中的标准卷积。论文：Dynamic Region-Aware Convolution

目的

卷积神经网络（CNNs）由于其强大的表示能力，在图像分类、人脸识别、目标检测等许多应用领域取得了重大进展。CNN强大的表示能力源于不同的滤波器负责在不同的抽象级别的信息提取。

然而，当前主流的卷积运算是以滤波器共享的方式跨空间域执行的，因此只有在重复应用这些卷积运算时，才能捕获更有效的信息（比如用更多的滤波器来增加通道数和深度）。但这种方式会带来几个局限性：首先，它的计算效率很低 ；其次，滤波器数量的增加会导致优化的困难 。

与滤波器共享的方法不同，为了对更多的视觉元素进行建模，目前一些研究侧重于通过在空间维度上使用多个滤波器来利用语义信息的多样性。比如，一些方法在每个像素上都使用单独的滤波器的替代卷积（在文中这类方法成为局部卷积），因此，每个位置的特征将被用不同方式地处理，这比标准卷积能够更有效地提取空间特征。虽然与标准卷积相比，局部卷积并没有增加计算复杂度，但它有两个致命的缺点：

1. 局部卷积带来大量的参数，这些参数量和特征的大小呈正相关。
2. 局部卷积破坏了平移不变性，这对某些需要平移不变性特征的任务 是不友好的 （例如，局部卷积不适用于分类任务）。

这两种方法都难以在神经网络中广泛应用。此外，局部卷积仍然在不同样本之间共享滤波器，这使模型对每个样本的特定特征不敏感。例如，在人脸识别和目标检测任务中，存在具有不同姿势或视点的样本。因此，跨不同样本的共享过滤器无法有效地提取特定于样本的特征。考虑到上述局限性，本文提出了一种新的卷积算法，称为动态区域卷积算法（DRConv） ，该算法能够自动将滤波器分配到相应的空间区域，因此，DRConv具有强大的语义表示能力，并完美地保持了平移不变性。具体来说，作者设计了一个可学习的引导掩模模块（guided mask module） ，根据每个输入图像的特征自动生成滤波器，并在相同的区域内共享滤波器。由于区域和滤波器都是基于样本的特征生成的，这种方法能更有效地关注样本自身的重要特征。

DRConv的结构如上图所示，首先用标准卷积从输入生成引导特征，然后根据引导特征，将空间维度划分为多个区域，每个区域用不同的颜色表示。在每个共享区域中，作者用滤波器生成器模块生成多个滤波器来执行二维卷积运算。因此需要优化的参数主要集中在滤波器生成器模块中，其参数量与特征空间大小无关。除了显著提高网络性能外，本文的DRConv与局部卷积相比可以大大减少参数量，并且与标准卷积相比几乎不增加计算复杂度。为了验证本文方法的有效性，作者在几个不同的任务上进行了一系列的实验研究，包括图像分类、人脸识别、目标检测和分割。实验结果表明，DRConv可以在这些任务上获得优异的性能。此外，作者还提供了充分的消融研究，以分析DRConv的有效性和鲁棒性。

方法

权重共享机制限制了标准卷积模拟语义的变化。因此，标准卷积必须在通道维度上增加滤波器的数量，以匹配更多的空间视觉元素，但是这种做法是低效的。局部卷积利用了空间信息的多样性，但牺牲了平移不变性。为了解决上述限制，作者提出了DRConv，它不仅通过在空间维度上使用多个滤波器来增加多样性，而且保持这些具有相似特征的区域的平移不变性。

Dynamic Region-Aware Convolution

标准卷积的输入可以表示为$X\in {\mathbb{R}}^{U\times V\times C}$，其中$U,V,C$分别为高度、宽度和通道。$S\in {\mathbb{R}}^{U\times V}$代表二维空间维度，$Y\in {\mathbb{R}}^{U\times V\times O}$代表输出，$W\in {\mathbb{R}}^C$代表标准卷积滤波器。对于输出特征的第$O$个通道，可以表示为$$Y_{u,v,o}=\sum _{c=1}^C{X}_{u,v,c}\ast W_c^{(o)}(u,v)\in S$$其中，$\ast$表示二维卷积。

对于局部卷积，使用$W\in {\mathbb{R}}^{U\times V\times C}$表示在空间维度上不共享滤波器。输出特征的第$O$个通道表示为：$$Y_{u,v,o}=\sum _{c=1}^C{X}_{u,v,c}\ast W_{u,v,c}^{(o)}(u,v)\in S$$其中$W_{u,v,c}^{(o)}$表示像素$(u,v)$处的不共享的滤波器。
基于上述的公式，作者定义了引导掩膜（guided mask）KaTeX parse error: Expected 'EOF', got '}' at position 25: …\cdots ,S_{m-1}}̲表示从空间维度划分的多个区域，其中单个过滤器在同一个区域中是共享的，不同滤波器用于不同的区域。
这个引导掩膜是基于输入数据自适应学习的，相应的，每个区域对应的滤波器表示为$W=[W_0,\cdots ,W_{m-1}]$，其中第$t$个滤波器$S_t$滤波器$W_t\in {\mathbb{R}}^C$与第$t$个区域$S_t$对应。输出特征的第$o$个通道可以表示为$$Y_{u,v,g}=\sum _{c=1}^C{X}_{u,v,c}\ast W_{t,c}^{(o)}(u,v)\in S$$其中$W^{(}o{)}_{t,c}$表示$W_t^o$的第$c$个通道，$(u,v)$表示区域$S_t$中的一个点。

本文的方法主要分为两个步骤。首先使用一个可学习的引导掩膜将特征划分为多个空间区域，从语义上将，语义相似的特征将被分配到同一区域。其次在每个共享区域中，使用滤波器生成器模块，生成一个基于驶入的滤波器来执行正常的二维卷积运算。可学习的引导掩膜决定哪个滤波器分配给哪个区域。滤波器生成器模块用于生成不同区域的相应滤波器。

Learnable guided mask

作为DRConv的重要部分之一，可学习引导掩膜决定了滤波器在空间维度上的分布，并通过损失函数进行优化。对于具有$m$个共享局域的$k\times k$的标准卷积基于输入来生成输出通道数为$m$的引导特征。用$F\in {\mathbb{R}}^{U\times V\times m}$表示引导特征，用$M\in \mathbb{U}\times \mathbb{V}$表示引导掩膜。对于每一个点$(u,v)$，引导掩膜的计算为：$$M_{u,v}=argmax({\hat{F}}_{u,v}^0,{\hat{F}}_{u,v}^1,\cdots ,{\hat{F}}_{u,v}^{m-1})$$其中，$argmax(\cdot )$表示取出最大值的下表，因此$M_{u,v}$的值域是在0到$m-1$的范围内。但是$argmax(\cdot )$操作使得这一部分的梯度被阶段，从而无法端到端学习，因此需要重新设计这一操作的前向传播和后向传播，如下图所示.

Forward propagation

每个滤波器${\hat{W}}_{u,v}$的计算表示为：$${\hat{W}}_{u,v}=W_{M_{u,v}}{M}_{u,v}\in [0,m-1]=W\ast M_{u,v}$$通过这种方式，$m$个滤波器将与所有位置建立对应关系，并且可以将整个空间像素划分为$m$个组。空间上使用相同的滤波器的像素具有相似的上下文，因为具有平移不变性的标准卷积将其信息传递给了引导特征。

Backward propagation

在反向传播的时候引入了$\hat{F}$：$${\hat{F}}_{u,v}^j=\frac{e^{F_{u,v}^j}}{{\sum }_{n=0}^{m-1}{e}^{F_{u,v}^n}}j\in [0,m-1]$$通过上式的$softmax$操作，${\hat{F}}_{u,v}^j$可以看做是近似的one-hot形式，因此${\hat{F}}_{u,v}^j$和one-hot形式的差距就会非常小。因此在训练过程中，$M_{u,v}$近似为$[{\hat{F}}_{u,v}^0,\cdots ,{\hat{F}}_{u,v}^{m-1}]$。${\hat{F}}_{u,v}^j$的梯度可以表示为：$${▽}_{{\hat{F}}_{u,v}^j}\mathcal{L}=⟨{▽}_{{\hat{W}}_{u,v}}\mathcal{L},W_j⟩j\in [0,m-1]$$其中，$⟨,⟩$代表点乘，${▽}_{.}\mathcal{L}$代表梯度。前向传播的近似反向传播可以表示为：$${▽}_{F_{u,v}}\mathcal{L}={\hat{F}}_{u,v}\odot ({▽}_{{\hat{F}}_{u,v}}\mathcal{L}-1⟨{\hat{F}}_{u,v},{▽}_{{\hat{F}}_{u,v}}\mathcal{L}⟩)$$，其中$\odot$代表逐元素相乘。

Dynamic Filter: Filter generator module

在DRConv中，多个滤波器将分配到不同的区域，滤波器生成器模块用于为这些区域生成滤波器。由于不同图像之间特征的多样性，跨图像的共享滤波器不足以有效地关注图像自身的特征。因此，提出了滤波器生成模块，基于输入数据自适应的生成滤波器。

将输入特征表示为$X\in {\mathbb{R}}^{U\times V\times C}$，$G(\cdot )$代表滤波器生成模块。这些滤波器表示为$W=[W_0,\cdots ,W_{m-1}]$，并且在每个滤波器仅在同一个区域$R_t$中共享。如上图所示，为了生成$m$个卷积核大小为$k\times k$的滤波器，作者首先用了adaptive average pooling将输入$X$下采样到$k\times k$，然后使用两个连续的$1\times 1$卷积，中间用sigmoid激活函数，第二个卷积采用分组卷积$groups=m$。滤波器生成器模块可以增强捕获不同图像样本特征的能力。