CVPR2021 Paper Reading——Inception Convolution with Efficient Dilation Search

动机

1、空洞卷积核的dilation (空洞率)是一个非常有效的超参数，可以调节不同任务之间的有效感受野（ERF）分布。

由于输入图片的尺寸变化以及感兴趣目标的尺寸变化，ERF根据不同任务进行调整是很重要的。即使在相同的任务中，对于一个具体的卷积层ERF的优化也是不同的，不同有效的搜索算法适用于不同的任务。例如，在图像分类中，输入的尺寸往往比较小(例如:224 × 224)，而在目标检测中，输入尺寸要大得多，目标的尺度范围也很大。即使对于固定网络的同一任务，某一卷积层的最优ERF也可能与其他标准卷积运算不同。由于ERF的要求不断变化，需要针对不同的任务提出一种通用的、实用的ERF优化算法。

2、目前大多数的方法直接在相对粗糙的搜索空间中对骨架网络架构进行搜索，忽略了空洞卷积的精细内部结构。

3、由于搜索空间的局限性，无法处理一个卷积层中的极大量的可能操作。为了有效地调整ERF，希望有一个更灵活的搜索空间，可以使得模型能够具备将ERF拟合到不同数据集的能力，以在空洞域的搜索问题来优化空洞卷积。

方法

提出了一个空洞卷积的新变体Inception卷积，它包含了尽可能多的空洞模式，可以有效地将ERF拟合到数据中。Inception卷积中，所有通道，卷积层，轴（维度）都被独立定义。提出了自己的搜索策略：基于零成本统计的架构搜索算法(EDO)，用于 Inception Convolution，以使架构与数据匹配，无需成本。

该论文提出了通道式的Inception卷积块，包含所有在最大空洞下的空洞模式(至少16种)，利用提出的EDO算法进行通道级别的空洞参数的搜索。