convolution backbone network——Deep Pyramidal Residual Networks

深度特征金字塔残差网络

paper:
github:
单位： 韩国科学技术院；在2018QS世界大学排名中位列世界40位 [2] ；在2014年的QS亚洲排名中位列第2位 [3] ，比清华，北大还牛。
摘要： 近年来，深度卷积神经网络（DCNN）在图像分类任务中表现出了显着的性能。通常，深度神经网络结构是由大量的卷积层组成的堆栈，并且它们通过池化沿着空间维度执行下采样以减少存储器的使用时间。同时，特征映射维度（即，信道的数量）在下采样偏差处急剧增加，这对于确保有效性能是必要的，因为它增加了高级属性的多样性。这也适用于残差网络，并且与其性能密切相关。在本研究中，我们不是在执行下采样的单元处急剧增加特征图尺寸，而是逐渐增加所有单元的特征图尺寸，以尽可能多地涉及位置。这一设计与我们的新见解进行了深入讨论，已被证明是提高泛化能力的有效手段。此外，我们提供了一种新颖的剩余单元，能够通过我们新的网络架构进一步提高分类精度。基准CIFAR-10，CIFAR-100和ImageNet数据集的实验表明，与原始残留网络相比，我们的网络架构具有更高的泛化能力。

前言

根据Veit等人的研究。 [33]，ResNets被认为表现为相对浅层网络的集合。这些研究人员表明，从ResNets删除单个剩余单元，即仅保留快捷连接，不会显着影响整体性能，证明删除剩余单元等同于删除整体网络中的一些浅网络。与此相反，删除普通网络架构（如VGG网络[25]）中的单个层会破坏VGG的精度。
同时，发现删除残差网络当中的下采样模块可以大幅提高分类模型的精度。

网络模型结构

Pyramid Nets和其他网络架构之间的主要区别在于，渠道的维度逐渐增加，而不是维持维度，直到出现具有下采样的剩余单元。

相较于传统的CNN，PRN特征通道数的变化为：

同时，可以采用非线性的公式，进行特征通道数的增加：

二者的比较如下图所示：

网络的详细结构参数为：

内部模块

内部的残差模块，可以有很多组合模式，论文中说明d的组合方式是最好的模块。

结果

在CIFAR数据集上resnet-110和pyramidnet-110的对比

不同组合内部模块在CIFAR上的结果对比：