[解读] Dynamic Convolution: Attention over Convolution Kernels

链接: https://arxiv.org/abs/1912.03458v2

本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升.

相近的工作

动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制.

与 SENet 不同的是, 动态卷积处理的对象是卷积核, 按权重相加, 而后者是处理特征图, 对每个特征图乘上一个权重.

方法

相对动态卷积来说, 传统的感知器可以看成静态的:
$$\mathbf{y}=g({\mathbf{W}}^{\mathbf{T}}\mathbf{x}+\mathbf{b})$$
本文提出的动态感知器的概念可以表达为:
$$\begin{array}{rl}\mathbf{y}& =g\left({\tilde{\mathbf{W}}}^T(\mathbf{x})\mathbf{x}+\tilde{\mathbf{b}}(\mathbf{x})\right)\\ \tilde{\mathbf{W}}(\mathbf{x})& =\sum _{k=1}^K{\pi }_k(\mathbf{x}){\tilde{\mathbf{W}}}_k,\tilde{\mathbf{b}}(\mathbf{x})=\sum _{k=1}^K{\pi }_k(\mathbf{x}){\tilde{\mathbf{b}}}_k\\ \text{ s.t. }& 0\le {\pi }_k(\mathbf{x})\le 1,\sum _{k=1}^K{\pi }_k(\mathbf{x})=1\end{array}$$
其中 ${\tilde{\mathbf{W}}}_k,{\tilde{\mathbf{b}}}_k$ 分别是 $K$ 个网络的权重参数.

聚合的意思是将 $K$ 个卷积核根据权重 ${\pi }_k(\mathbf{x})$ 按元素求和, 得到处理后的卷积核 $\tilde{\mathbf{W}},\tilde{\mathbf{b}}$. 由于 ${\pi }_k(\mathbf{x})$ 的生成是非线性的, 所以动态卷积具有更强的表达能力. 流程图如下:

上图中可能会产生误解, $\mathbf{x}$ 是卷积网络中前一层的特征图, “attention” 模块输入的是本层的卷积核, 经过 SENet[13] 中的操作, 得到权重 $\pi (k)$, 与 $con{v}_k$ 分别作积并求和得到聚合的卷积核, 这个卷积核再对输入 $\mathbf{x}$ 处理得到本层的特征图 $\mathbf{y}$.

由于需要同步优化所有的卷积核, 因为这会带来训练上的困难. 针对训练问题, 本文提出两个改进.

注意到 ${\sum }_{k=1}^K{\pi }_k(\mathbf{x})=1$ 这个设定也是本文的一个亮点, 文中分析了这有利于更好的训练. 如下图所示:

假设 ${\tilde{\mathbf{W}}}_1,{\tilde{\mathbf{W}}}_2,{\tilde{\mathbf{W}}}_3$ 是三个卷积核, 当 ${\sum }_{k=1}^K{\pi }_k(\mathbf{x})=1$ 时, 聚合的卷积核将映射到阴影三角形中, 这缩小了范围, 从而有利于训练.

另外关于 Softmax 归一化函数引入热度(temperature)的参数:
$${\pi }_k=\frac{\exp \left(z_k/\tau \right)}{{\sum }_j\exp \left(z_j/\tau \right)}$$
当 $\tau$ 值变大时, ${\pi }_k$ 的分布将更加集中. 通常情况下 $\tau =1$, 这使得 ${\pi }_k$ 的分布较为分散, 对于较大的 ${\pi }_k$ 值, 其对应的卷积核 ${\tilde{\mathbf{W}}}_k$ 能够得到优化, 而较小的值对应的 ${\tilde{\mathbf{W}}}_k$ 则得不到优化. 因此在训练初期设置较大的 $\tau$ 值, 随着训练进行, 再将数值减小.

进一步改进

虽然动态卷积仅在增加很少的计算量的前提下, 能够提高网络的表达能力, 但这大大增加了网络参数的数量, 对硬件条件有更高的要求. 具体来说, 一个卷积层通常要输出很多个特征图, 而每一个特征图, 都要有一个动态卷积层来输出, 这使得卷积核的数量增加了 $K$ 倍, 而文中 $K=8$ 时效果比较好. 为了减少参数数量, 可考虑构造多个注意力模块, 然后复用 $K$ 个动态卷积和.

参考

[13] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2018.

本人才疏学浅, 如有遗漏或错误之处, 请多多指教!