[动态卷积]--Dynamic Convolution：Attention over Convolution Kernels

文章的方法并没有在ResNet等大网络上测试，我觉得最大的问题就是参数量3倍、4倍的涨幅，而且存在训练困难的问题。因为这些问题，没有继续看下去。

摘要：

轻量级卷积神经网络(CNNs)由于其较低的计算预算限制了CNNs的深度(卷积层的数量)和宽度(通道的数量)，导致其性能下降，从而限制了其表示能力。为了解决这个问题，我们提出了动态卷积，一种新的设计，在不增加网络深度或宽度的情况下增加模型的复杂性。动态卷积不是每层使用一个卷积核，而是根据多个并行卷积核的注意力动态地聚集在一起，这些卷积核是依赖于输入的。多核的装配不仅由于核的尺寸小而具有较高的计算效率，而且由于这些核是通过注意力以非线性的方式进行聚合而具有更强的表示能力。通过简单地使用动态卷积的最新架构MobilenetV3-Small，在ImageNet分类中排名前1的精度提高了2.3%，仅增加了4%的错误，而在COCO keypoint检测中实现了2.9 AP增益。

创新点：