DPN（Dual Path Networks）论文阅读笔记

DPN（Dual Path Networks）论文阅读笔记2017

Abstract

本文中，我们提出了一个简单高效的模块化双路径网络（DPN）用于图像分类，这提出了一种新的拓扑结构。通过在HORNN框架上对ResNet和DenseNet进行实验，我们发现，ResNet可以更好进行特征重复使用，DenseNet可以探索到更好的特征，这两者对于学习好的表示是很重要的。==为了利用这两个优点，我们提出的DPN网络共享一些common特征，同时保持灵活性来通过双路径结构来探索新的特征。==我们在ImageNet-1k、Places365以及PASCAL VOC上进行了实验，发现我们的网络超过了SOTA。尤其是在ImageNet上，一个浅层的DPN就可以超过最好的ResNeXt101（64 * 4d）。在Place365大尺度场景数据集、PASCAL VOC检测和分割数据集上也验证了，DPN网络超过DenseNet、ResNet、以及ResNeXt。

1. Introduction

目前，对于视觉识别任务研究，网络的设计变得更重要。本文中，我们试图提出一种新的深度网络的拓扑结构来进一步推动表示学习。尤其是，我们关注分析并改变skip连接，他已经被广泛应用在现代深度卷积网络的设计中，并取得了很大的成功。**跳跃连接为低层创造了一个传播信息的路径连接到高层。**在前向传播过程中，跳跃连接可以使得一个很后面的层可以连接到很前面层的信息；对于反向传播，反过来可以使得梯度信息进行这种回传，而不会出现梯度消失。这就有效的减轻了梯度消失的问题，使得优化更容易。

ResNet是第一个成功应用跳跃连接的深度网络，每个残差单元链接一个跳跃连接。这个残差路径将输入特征和这个block的输出进行逐元素相加，获得最后的输出。根据网络内层结构设计的不同，它有许多的变体形式，比如Inception-resnet、ResNeXt等。

最近的一种SOTA网络叫做DenseNet。与残差网络不同，它使用密集连接的路径将输入特征与输出特征进行级联。每个网络的输入特征是前面所有层的输入特征的级联，这一层的输出特征又会送到后面的所有层中作为输入。它比ResNet更有效率。

本文中，我们尝试学习两种结构的优点和限制，综合进一步提出DPN网络。尤其是，我们首先从HORNN的角度分析对DenseNet的一种新的理解，然后探究它与ResNet之间的关联。具体来说，我们使用HORNN证明了，当连接是跨层共享的时候，ResNet就是DenseNet。使用这种联合的视角，我们发现ResNet隐式地通过残差路径重复使用了特征，而DenseNet通过这个密集连接可以更好地探索新的特征。

基于这个新的视角，我们提出了一个新的双路径结构，DPN。这种新的结构继承了上面二者的优点，取得了有效的特征重复使用和特征探索能力。**DPN同样有着更高的参数效率、更低的计算量、更低的内存消耗、与SOTA相比更容易优化的优点。**实验结构验证了DPN对于多个数据集上取得了很高的准确率，并可以广泛应用于多种视觉任务中，也取得了最好的表现。

2. Related work

设计一种新的神经网络结构是最有挑战但是也最有效的方法之一，来提升图像分类表现，并可以提升多种视觉任务。AlexNet和VGG是两个最重要的代表，展示出了CNN的强大能力。它们证明建立更深、卷积核更小的网络是一种有效提升网络学习能力的方法。ResNet通过使用跳跃连接，极大降低了网络优化的难度，并将网络深度拓展到上百层。从那时起，出现了多种残差网络，主要是对残差块内部结构或跳跃连接进行修改。最近的DenseNet将原来ResNet中的逐元素相加操作改为通道上级联，效果很好。但是，DenseNet随着宽度的增加和深度的增加，参数也大量增加，未经优化的话会导致内存占用很大。这就限制了，DenseNet不可以扩展到很深很宽来进一步提升准确率。

除了设计新的结构，研究者尝试重新探索现存的SOTA结构。比如，探究了ResNet降低优化困难中残差连接的重要性。在一篇论文中，作者将残差网络与RNN联想到一起，帮助从RNN的角度更好理解深度残差网络。另一篇论文中，研究了几个不同的残差函数，试图提供对设计更好的模块（有更高的学习能力）提供一种更好的理解。对于DenseNet，除了一些对于更好的特征重复使用和有效的梯度f