动态卷积效率低？UCSD&微软用矩阵分解的方法解决了这个问题，性能还更高！（ICLR2021）...

关注公众号，发现CV技术之美

▊ 写在前面

最近，动态卷积方面的研究表明，K个静态卷积核的自适应聚合，可以使得CNN的性能显著提高。然而，它有两个局限性：（a）它将卷积权重的数量增加了k倍 ，（b）动态注意力和静态卷积核的联合优化具有挑战性 。

在本文中，作者从矩阵分解的角度重新回顾动态卷积，并揭示了其中的关键问题是由于动态卷积在投射到高维潜在空间后对再通道组应用动态注意力 。为了解决这个问题，作者提出了动态通道融合 来代替通道组上的动态注意力。动态通道融合不仅可以显著降低潜在空间的维数，而且可以减轻联合优化的难度。因此，本文提出的方法更易于训练，并且在不牺牲精度的情况下，需要的参数更少。

▊ 1. 论文和代码地址

Revisiting Dynamic Convolution via Matrix Decomposition

论文地址：https://arxiv.org/abs/2103.08756

代码地址：https://github.com/liyunsheng13/dcd

▊ 2. Motivation

动态卷积最近已成为轻量级网络实现的主流方法之一，它能够以可忽略的计算成本实现显著的性能提升，这促使它在多个视觉任务中被采用。动态卷积的基本思想是根据与输入相关的注意力机制，将多个卷积核动态聚合为卷积权重矩阵，如下所示：

其中，最终聚合的卷积核为k个卷积核基于注意力权重的线性组合。

动态卷积有两个主要的局限性：（a）由于使用k个卷积核而缺乏紧凑性，（b）注意力得分 和静态卷积核 的联合优化具有挑战性 。在这项工作中，