【经典回顾】静态结构不能满足模型部署性能需求？微软提出动态卷积结构，Top-1准确率提高2.9%！（附复现代码）...

关注公众号，发现CV技术之美

本文分享论文『Dynamic Convolution: Attention over Convolution Kernels』，静态的结构依旧不能满足性能需求了？微软提出了Dynamic Convolution（动态卷积），让MobileNetV3提高2.9%Top-1准确率！（附复现代码）。

详细信息如下：

• 论文链接：https://arxiv.org/abs/1912.03458

• 复现代码：https://github.com/xmu-xiaoma666/External-Attention-pytorch#4-DynamicConv-Usage

导言：

轻量级卷积神经网络（CNN）由于其较低的计算预算限制了CNN的深度（卷积层数）和宽度（通道数），导致其表现能力有限，因此性能下降。为了解决这个问题，作者提出了动态卷积（Dynamic Convolution），这是一种在不增加网络深度或宽度的情况下增加模型复杂性的新设计。

动态卷积不是每层只使用一个卷积核，而是根据注意力来动态聚合多个与输入相关的并行卷积核。通过对MobileNetV3-Small使用动态卷积，ImageNet分类的Top-1精度提高了2.9%，仅增加4%的FLOPs，COCO关键点检测实现了2.9 AP的性能提升。

      01      

Motivation

最近，轻量级网络的设计逐渐兴起，它不仅可以在移动设备上提供新的体验，还可以保护用户的隐私，防止将个人信息发送到云端。最近的工作（如MobileNet和Shuffenet）表明，有效的算子设计（如深度卷积、通道shuffle、squeeze-and-excitation、不对称卷积）和网络结构搜索对于设计有效的卷积神经网络是非常重要的。

然而，当计算约束变得极低时，即使是SOTA的高效CNN（如MobileNetV3）也会出现显著的性能下降。例如，当MobileNetV3的计算成本从219M减少到66M时，ImageNet分类的Top-1准确率从75.2%下降到67.4%。这是因为极低的计算资源会限制网络的深度（卷积层数）和宽度（通道数），从而限制其表现能力。