分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记

论文地址：FractalNet: Ultra-Deep Neural Networks without Residuals
本文地址：http://blog.csdn.net/wspba/article/details/73251731

前言

自从ResNet提出以来，倍受人们的追捧，在ResNet基础上延伸出来的模型结构越来越多，如：Wide ResNet、ResNet in ResNet、Stochastic Depth ResNet等等，都取得了非常好的效果，而Residual的结构也被认为对于构建极深网络非常重要的结构。而本文，提出了一种新的分形网络结构，它的提出就是为了证明Residual对于极深网络并不是必须的，它通过一种分形的结构，达到了类似于教师-学生机制、深度监督的效果，同样取得了非常好的效果。虽然这种方法在目前来说用的比较少，但是我觉得它的这种思路是非常值得学习的。

Fractal

Fractal，分形，来自于几何学。所谓分形就是从多个层次、多个角度、多个组成成分来共同解决一个问题。而今天要讲的FractalNet就是一个这样的结构，它通过多个不同深度的网络的组合，来共同提到模型的效果。按照作者的话，浅层提供更迅速的回答、深层提供更准确的回答。FractalNet的结构可以看成由多个以下模块组成：