XSepConv: Extremely Separated Convolution

Chen J, Lu Z, Xue J H, et al. XSepConv: Extremely Separated Convolution[J]. arXiv preprint arXiv:2002.12046, 2020.
深度卷积已逐渐成为现代高效神经网络必不可少的操作，并且最近对其应用了更大的核尺寸（≥ 5）。在本文中，提出了一种新型的极度分离卷积块（XSepConv），它将空间可分离卷积融合为深度卷积，以进一步降低大内核的计算成本和参数大小。此外，额外2×2深度卷积与改进的对称填充策略结合使用，以补偿空间可分离卷积带来的副作用。XSepConv被设计为大内核尺寸的深度卷积的有效替代方案。为了验证这一点，我们将XSepConv用于最先进的MobileNetV3-Small架构，并在四个竞争激烈的基准数据集（CIFAR-10，CIFAR-100，SVHN和Tiny-ImageNet）上进行了广泛的实验，以证明XSepConv确实可以在准确性和效率之间达成更好的权衡。

XSepConv结构：

(a) the basic XSepConv block. (b) the XSepConv block for spatial down sam-pling (2). NL: nonlinearity. DW: depthwise convolution. s12: stride=(1,2). s21:stride=(2,1). (Better viewed in color)
XSepConv由3个部分组成:2x2深度卷积核;1个k深度卷积核;和k1个深度卷积核。
1×k和k×1深度卷积一起形成所说的空间分离深度卷积