Notes On FractalNet

     本笔记为阅读《FractalNet Ultra-Deep Neural Networks without Residuals》后的简单总结。

     这篇文章设计了一种网络结构，反复执行一种扩展规则，即可得到非常深的神经网络。FractalNet是在超深卷积网络中第一个可以替代ResNet的深度神经网络。证明了超深神经网络不一定需要残差学习。

     网络的构造方式可以用“分形”一词来概括，如下图，多层分形结构的网络构成了整个网络。

     分形的结构不免会带来很多冗余，并且会面临过拟合的风险。如何有效的训练该网络成了一个问题。为此，文章中还提出了drop-path的正则化方法。FractalNet通过dropout和drop-path的方式来训练，得到了超过ResNet的表现。

     Drop-path分为局部和全局。在局部，每个join以固定概率丢弃丢弃input，但至少保证留下一个input，然后进行训练。在全局，整个网络中会选出一条路径进行训练，从而提高独立路径的预测能力。这种local-global-local，每次激活并训练一部分子网的训练方式可以防止co-adaptation。

      对于ResNet中，Data Argumentation使其取得了从44.76%到27.22%的error rate 的提升。虽然Data Argument同样可以使FractalNet错误率下降，但及时没有data argumentation，FractalNet同样可以通过Drop-path的正则化方法来得到可以与ResNet匹敌的表现。测试结果如下：