DPN是在resneXt,denseNet之后,对resnet系列的进一步创新,作者巧妙的将resnet与denseNet相结合,提出了dual path architectures,构造了DPN网络结构。
那么DPN的创新点有哪些呢?如下:
DPN具有更小的模型以及更少的计算量,具有更好的训练速度。作者在论文中的描述为:[
In particular,on the ImageNet-1k dataset, a shallow DPN surpasses the best ResNeXt-101 with 26% smaller model size, 25% less computational cost and 8% lower memory consumption.]
那么DPN是如何做到这点的呢?
论文第二章、第三章详细介绍了DPN的理论基础,包含有较多的公式,简单而言就是借鉴了:
- resnet特征重用(因为前面特征被sum到了后面层上面)
- denseNet容易发现新特征(将前面特征均进行了concat组合)
的特点,并且受到HORNNs的启发,HORNNs我还没有仔细的研究,这里就不解释了。
该部分包含有较多的公式可供理解,感兴趣的读者可以在论文中查看。
下面我