解读Dual Path Networks（DPN，原创）

Dual Path Networks，论文链接：https://arxiv.org/pdf/1707.01629.pdf

ResNet和DenseNet是近几年两种比较热门的网络结构，ResNet把输入直接加到（element-wise adding）卷积的输出上，DenseNet则把每一层的输出都拼接（concatenate）到了其后每一层的输入上。在这篇论文中作者用High Order RNN结构（HORNN）把DenseNet和ResNet联系到了一起，证明了DenseNet能从靠前的层级中提取到新的特征，而ResNet本质上是对之前层级中已提取特征的复用。通过把这两种结构的优点结合到一起，就有了最新结构Dual Path Networks（DPN）。

一、原理篇

1、DenseNet和HORNN的联系

High Order RNN（HORNN）就是高阶循环卷积网络，我们可以把HORNN泛化成公式1。这个公式中当前的状态是hk，ht则表示结构中的第t个状态 （t<k），ftk(.)表示从ht中提取和第k个状态有关的特征的过程，xt表示第t个状态的输入数据（明显有x0=h0），gk(.)表示把之前所有的状态汇聚后再用gk(.)处理就得出当前状态hk。如果对于任意k,t，都有ftk(.)=ft(.)，gk(.)=g(.)，那公式1就是一个普通的HORNN。

公式1

为什么说DenseNet就是个特殊的HORNN呢？DenseNet一个Block可以看成图1的结构，其中的红框部分是对之前各层的输出在特征维度做拼接，然后做1X1卷积。拼接后做1X1卷积可以等效为先在各层的直连线上分别做1X1卷积（每一条直连线上的1X1卷积系数都不同），然后再算术相加。即红框里的结构可以等效为图1下半部分的结构，一个DenseNet的Block就等效于图2的结构（其中fk-1k、fk-2k、fk-3k......都不相同）。这样图2就和公式1完全对应上了，所以说DenseNet是在不满足ftk(.)=ft(.)，gk(.)&