【经典重温】所有数据无需共享同一个卷积核！谷歌提出条件参数化卷积CondConv（附Pytorch复现代码）...-CSDN博客

本文链接：https://blog.csdn.net/moxibingdao/article/details/122817073

关注公众号，发现CV技术之美

▊ 写在前面

卷积层是深度神经网络的基本组成部分之一，目前的卷积网络的一个基本假设是卷积核应该为数据集中的所有样本所共享 。在本文中，作者打破了这个假设，提出了条件参数化卷积（CondConv） ，它为每个样本学习专门的卷积核。用CondConv替换普通卷积能够增加网络的大小和容量，同时保持有效的推理。

通过实验，作者证明了CondConv网络在分类和检测任务上，改善了现有几种卷积神经网络结构的性能和推理成本的权衡。在ImageNet分类任务上，将EfficientNet-B0中的卷积替换为CondConv，可以在 413M multiply-adds的计算量下，实现78.3%的Top-1准确率。

▊ 1. 论文和代码地址

CondConv: Conditionally Parameterized Convolutions for Efficient Inference

论文地址：https://arxiv.org/abs/1904.04971
代码地址（TensorFlow版本）：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv
复现代码（Pytorch版本）：https://github.com/xmu-xiaoma666/External-Attention-pytorch#5-CondConv-Usage

▊ 2. Motivation

卷积神经网络（CNN）在计算机视觉的许多任务上都取得了SOTA的性能，而这些性能的提高主要来自于模型大小和容量的增加。然而，目前增加模型容量的方法计算成本很高，大模型的推理往往需要占据巨大的计算资源，这限制了其在移动设备上的部署和计算。

卷积层设计中的一个基本假设是，相同的卷积核应用于数据集中的每个样本 。为了增加模型的容量，通常会添加更多的卷积层或增加现有卷积层的大小（卷积核高度/宽度、输入/输出通道的数量）。在这两种情况下，额外的计算成本与卷积输入的大小成比例地增加，这使得卷积网络的计算量可能非常大。

目前有许多计算机视觉应用，比如自动驾驶，要求模型是低延迟、能够实时计算的，因此在推理时减少计算量成为了一个非常重要的工作。在本文中，作者提出了条件卷积的思想来设计模型，这使得深度学习能够更好地服务于这些应用。

在本文中，作者提出的条件参数化卷积（CondConv） ，通过基于输入来动态计算卷积核，从而避免了传统静态的卷积中所有样本共享一个卷积核的缺点。具体地，作者将CondConv层中的卷积核参数化为n个专家（卷积核）的线性组合，即，其中是通过梯度下降学习的权重函数。

这比增加卷积核本身的大小更具计算效率，因为所有专家在每个输入中仅组合一次，并且这些专家（卷积核）组合之后只需要进行一次卷积，因此，多出来的额外计算只是计算权重 和聚合卷积核 的计算量，而这些计算量相比于卷积的计算量是非常小的。

CondConv可以作为CNN结构中卷积层的替代品。作者证明了用CondConv替换卷积层可以提高CNN结构在ImageNet分类和COCO目标检测方面的模型容量和性能，同时保持高效的推理。在分析中，作者发现，CondConv层能够通过输入样本学习语义上有意义的关系来计算条件卷积核。

▊ 3. 方法

在标准的卷积层中，所有输入样本都使用相同的卷积核。在CondConv层中，卷积核是根据输入样本的函数进行动态计算（如上图所示）。具体而言，作者通过以下方式参数化CondConv中的卷积核：

其中，每个α是使用具有可学习参数的路由函数计算的依赖于输入样本的权重，是专家（卷积核）的数量，σ是激活函数。当用CondConv替换标准卷积层时，每个卷积核与原始卷积中的卷积核具有相同的维度。

在以前的工作中，通常通过增加卷积核的高度/宽度或输入/输出通道的数量来增加常规卷积层的容量。但是，通过扩大卷积核的方式带来的额外计算量与输入特征图的大小呈正相关，而输入特征图中的像素数可能很大。

在CondConv层中，在应用卷积之前，首先将每个样本的卷积核计算为一组卷积核的线性组合。每个卷积核只需要计算一次，但应用于输入图像中的许多不同位置，所以这种方法可以在控制计算量的情况下提升模型的学习能力。通过增加卷积核的数量，就可以增加网络容量，而推理成本的增加相对来说比较少（相对于进行多次卷积来说）。