论文地址:FractalNet: Ultra-Deep Neural Networks without Residuals
本文地址:http://blog.csdn.net/wspba/article/details/73251731
前言
自从ResNet提出以来,倍受人们的追捧,在ResNet基础上延伸出来的模型结构越来越多,如:Wide ResNet、ResNet in ResNet、Stochastic Depth ResNet等等,都取得了非常好的效果,而Residual的结构也被认为对于构建极深网络非常重要的结构。而本文,提出了一种新的分形网络结构,它的提出就是为了证明Residual对于极深网络并不是必须的,它通过一种分形的结构,达到了类似于教师-学生机制、深度监督的效果,同样取得了非常好的效果。虽然这种方法在目前来说用的比较少,但是我觉得它的这种思路是非常值得学习的。
Fractal
Fractal,分形,来自于几何学。所谓分形就是从多个层次、多个角度、多个组成成分来共同解决一个问题。而今天要讲的FractalNet就是一个这样的结构,它通过多个不同深度的网络的组合,来共同提到模型的效果。按照作者的话,浅层提供更迅速的回答、深层提供更准确的回答。FractalNet的结构可以看成由多个以下模块组成: