《Dual Path Networks》笔记

（这篇论文是最新的网络结构的论文，故下载下来学习一下）
1 论文出处：image2017多项冠军，目前挂在arxiv上面
2 主要思路：
现在的网络结构，有resnet结构的，两个通路然后把feature map 相加的（add），也有两个通路然后把feature map 拼接（concat）在一起的（主要参考论文《Densely connected convolutional networks. arXiv preprint arXiv:1608.06993, 2016.》），作者在这篇论文中研究了这两种网络结构之间的数学联系，各自的优点和缺点，然后根据这两种网络结构的优缺点，提出了一种结合这两种网络结构的新的结构DPN（双通路网络结构），不仅提高了accuracy，而且消耗的资源更少。
3 详细分析
3.1 resNet类型的网络和denseNet类型网络之间的联系
作者从Higher Order RNN（HORNN）的角度给出了新的理解。
RNN的公式如下：

xt是网络在t step的 输入，