Dual Path Networks双分支网络

本文的目的是设计新的path technology。我们发现resnet通过residual path能够重用特征，densenet通过dense connect path能探索新的特征。DPN继承了residual path 和 dense connect path的优点，既能有效地 重用特征也能探索新的特征。

图d和e是一样的。
block：采用1x1conv，紧接着3x3conv，最后1x1conv输出。最后1x1conv输出的结果split为2部分：一部分作为residual path（element-add），一部分最为dense path（concat）。为增强性能，我们采用group conv。
我们可以选择residual net作为主干网络，添加thin densely connect path 构建Dual path network。

G代表group conv。+k代表densely connection path的channel。

在模型复杂度（param）和计算复杂度（FLOPs）优势对比

关于skip connect的描述（感觉挺好）：Skip connection creates a path propagating information from a lower layer directly to a higher layer. During the forward propagation, skip connection enables a very top layer to access information from a distant bottom layer; while for the backward propagation,it facilitates gradient back-propagation to the bottom layer without diminishing magnitude, which effectively alleviates the gradient vanishing problem and eases the optimization.