《ACNet》

读这篇文章的目的就是单纯冲着网络模型的，看在去噪任务上是否可以达到很好的结果。ACNet：通过非对称卷积块增强强大的CNN的内核骨架

一、论文

《ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks》

摘要：由于在给定应用程序的背景下设计适当的卷积神经网络（CNN）架构通常会涉及大量的人工工作或大量的GPU时间，因此研究团体正在征求架构中立的CNN结构，可以轻松地将其插入多个成熟的架构中以提高性能 在我们的实际应用中。 我们提出非对称卷积块（ACB），这是一种与结构无关的结构，作为CNN构造块，它使用一维非对称卷积来增强平方卷积核。 对于现成的体系结构，我们用ACB取代标准的方形内核卷积层，以构建非对称卷积网络（ACNet），可以对其进行训练以达到更高的准确性。 经过培训，我们等效地将ACNet转换为相同的原始体系结构，因此不再需要额外的计算。 我们已经观察到ACNet可以明显改善CIFAR和ImageNet上各种模型的性能。 通过进一步的实验，我们将ACB的有效性归因于其增强模型对旋转失真的鲁棒性以及增强方形卷积核的中心骨架部分的能力。

二、网络模型

在本文中，我们提出了一种非对称卷积块（ACB），它是一种创新的结构，可以用正方形核（例如3×3层）代替标准的卷积层，该层在现代CNN中被广泛使用。 具体来说，为了替换ad×d层，我们构建了一个ACB，该ACB包括三个分别具有d×d，1×d和d×1内核的并行层，将它们的输出相加以丰富特征空间（图 1）。

图1：ACNet概述。 例如，我们用ACB替换每3×3层，该ACB分别包含3个内核分别为3×3、1×3和3×1内核的三层，并将它们的输出求和。 训练完成后，我们通过将每个ACB中的非对称核添加到骨架上来将模型转换为与原始结构相同的结构，该骨架是方形核的交叉部分，如图所示。 实际上，这种转换是通过使用原始结构构建新模型并使用转换后的ACNet学习参数进行初始化来实现的。

图2：我们使用滑动窗口来直观了解具有不同内核大小的2D卷积的可加性。 在这里，我们有三个卷积层，其内核大小分别为3×3、1×3和3×1，它们采用相同的输入。 例如，我们仅在左上角和右下角描绘滑动窗口。 可以看出，保持可加性的关键是三层可以共享同一滑动窗口。 因此，如果将conv2和conv3的内核添加到conv1的相应位置上，则使用结果内核对原始输入进行操作将产生相同的结果，只有使用乘法的分布特性才能轻松验证（公式5  ）。 最佳观看颜色。

图3：BN和分支融合。 令成为输入特征图的任意通道，对于每个分支，我们首先将批量归一化的参数等效地融合到卷积核和一个偏差项中，然后将融合核和偏差项相加以获得单层。

三、不对称卷积网络

3.1 公式

对于具有H×W和D滤核尺寸的卷积层，并以C通道特征图作为输入，我们使用表示3D卷积核，输入，这是一个具有U×V和C通道的空间分辨率的特征图，而分别为具有D通道的输出。
   对于该层的