动态卷积

卷积层是通过将上一层的特征映射与一组过滤器进行卷积来计算输出特征映射。这些滤波器是卷积层的唯一参数，通常通过反向传播算法在训练中学习。我们提出了一种新的深度网络层，称为“动态卷积层”，是对卷积层的一种推广。传统的卷积层使用在训练中学习的过滤器，在测试中保持不变。与此相反，动态卷积层使用的过滤器在测试期间会随着输入的不同而变化。这是通过学习将输入映射到过滤器的函数来实现的。

 

与卷积层类似，动态卷积层从上一层提取feature map，并与filter进行卷积。其新颖之处在于动态卷积层的滤波器不是该层的参数，而是将输入映射到一组滤波器的任意深度子网的输出(图3)。

与卷积层相比，动态卷积层接收两个输入。第一个输入是来自前一层的特性映射，第二个输入是过滤器。特征映射是根据子网络A从输入中获得的，滤波器是对输入应用单独的卷积子网络B的结果。该层的输出是通过将滤波器与前一层的特征映射进行卷积来计算的，方法与卷积层中的方法相同，但这里的滤波器是输入的函数，因此在测试期间，不同的样本会有所不同。整个系统是一个有向无环层图，采用反向传播算法进行训练。

网络的总体架构。网络B是计算动态卷积层使用的滤波器(H1和V1)的子网络。SH1是H1上应用softmax函数的结果，SV1是V1上应用softmax函数的结果。DC1是一个动态卷积层，它将序列中的最后一个图像与SV1进行卷积。DC2是一个动态卷积层，它取DC1与SH1进行卷积。

 

网络B的体系结构。C1、C2、C3为常规卷积层，M1、M2、M3为max-pooling层。在每个max-pooling层之后，我们使用tanh非线性激活函数。H1和V1通过一个完全连接的层连接到M3。