DPN论文笔记

1. 论文大致信息
   a. Dual Path Networks，颜水成老师的作品，夺得2017年ImageNet大赛的冠军。
   b. 主要思路从ResNeXt和DenseNet出发，改进了skip connection，降低了复杂度，提高了有效特征的再利用，准确率超过了此前的ResNeXt，DenseNet等网络结构，并对于其他的视觉任务也有很高的适用性。

2. 思路来源
   a. 主要思路来源于：ResNet，DenseNet，Higher Order Rnn（这篇不太了解）
   b. 文中第三章讨论了三者之间的架构联系，总体得出以下的结论：
   i. ResNet和DenseNet都可以被看作时HORNN的变体。
   ii. ResNet又是DenseNet的一种特殊表达。ResNet通过对前一层提取的特征的复用，提高了特征的复用性，减少了特征的冗余性，但是造成了这样的网络结构不善于发现新的特征。而DenseNet则相反，能不断地从前几层的输出中发现新的特征，但这些特征可能是已经提取过的，所以冗余性相应就提高了。
   iii. DPN可以客服这两种网络结构的局限，并且提到这个结构可能也可以用来提高HORNN。

3. DPN网络结构
   
   a. 数学表达如上图，可以看到，x其实就是DenseNet的部分，y其实就是ResNet的部分，进行拼接后就时DPN。
   
   b. 可以看到，每一块实际做的操作是：
   i. 将input先通过11的卷积，降低通道数，减少计算的复杂度
   ii. 通过33的卷积，注意这里用的是Group的卷积方式。
   iii. 调整通道数为两条通道数之和，一部分为ResNet部分，和对应通道输入的数据直接相加，而剩下的DenseNet部分拼接至数据之后。
   iv. ResNet为主干网络，加入很窄的densely connected，这里有两点考虑：

4. ResNet在实际使用中使用的更广泛。

5. 减少网络的宽度增加速度和GPU内存的使用
   v. 在看源码时发现，对于每一块的第一层卷积，会额外再添加2*k的通道拼接至原数据。
   c. 模型复杂度
   i. 空间复杂度：没算，按照原文所述：The DPN-92costs about 15% fewer parameters than ResNeXt-101 (32 × 4d), while the DPN-98 costs about 26% fewer parameters than ResNeXt-101 (64 × 4d).
   ii. 时间复杂度：DPN-92 consumes about 19%less FLOPs than ResNeXt-101(32 × 4d), and the DPN-98 consumes about 25% less FLOPs thanResNeXt-101(64 × 4d).
   

d. 实验结果
i. 在多个数据集上进行了测试，具体数据参考论文。