动态取值_动态卷积：自适应调整卷积参数，显著提升模型表达能力 CVPR 2020

本文转载自微软研究院AI头条。

编者按：轻量级卷积神经网络能够在较低的计算预算下运行，却也牺牲了模型性能和表达能力。对此，微软 AI 认知服务团队提出了动态卷积，与传统的静态卷积(每层单个卷积核)相比，根据注意力动态叠加多个卷积核不仅显著提升了表达能力，额外的计算成本也很小，因而对高效的 CNN 更加友好，同时可以容易地整合入现有 CNN 架构中。

轻量级卷积神经网络(light-weight convolutional neural network)因其较低的计算预算而限制了 CNN 的深度(卷积层数)和宽度(通道数)，不仅导致模型性能下降，表示能力也会受到限制。

为了解决这个问题，微软的研究员们提出了动态卷积，这种新的设计能够在不增加网络深度或宽度的情况下增加模型的表达能力(representation capacity)。动态卷积的基本思路就是根据输入图像，自适应地调整卷积参数。

如图1所示，静态卷积用同一个卷积核对所有的输入图像做相同的操作，而动态卷积会对不同的图像(如汽车、马、花)做出调整，用更适合的卷积参数进行处理。简单地来说，卷积核是输入的函数。