分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记

最新推荐文章于 2024-08-23 09:51:47 发布

小时候贼聪明

最新推荐文章于 2024-08-23 09:51:47 发布

阅读量1.2w

点赞数 12

分类专栏： deeplearning 学习笔记论文论文笔记文章标签： deep-learning 论文笔记

本文链接：https://blog.csdn.net/wspba/article/details/73251731

版权

本文介绍了FractalNet，一种无需残差结构的超深神经网络。FractalNet通过分形结构和Drop Path机制实现了深度监督的效果，避免了深度网络的退化问题。Drop Path类似于Drop Out，但随机关闭路径而非神经元，促进模型内部的教师-学生学习。在Cifar-10和Cifar-100上取得最优性能，单列网络也能保持良好效果。

摘要由CSDN通过智能技术生成

论文地址：FractalNet: Ultra-Deep Neural Networks without Residuals
本文地址：http://blog.csdn.net/wspba/article/details/73251731

前言

自从ResNet提出以来，倍受人们的追捧，在ResNet基础上延伸出来的模型结构越来越多，如：Wide ResNet、ResNet in ResNet、Stochastic Depth ResNet等等，都取得了非常好的效果，而Residual的结构也被认为对于构建极深网络非常重要的结构。而本文，提出了一种新的分形网络结构，它的提出就是为了证明Residual对于极深网络并不是必须的，它通过一种分形的结构，达到了类似于教师-学生机制、深度监督的效果，同样取得了非常好的效果。虽然这种方法在目前来说用的比较少，但是我觉得它的这种思路是非常值得学习的。

Fractal

Fractal，分形，来自于几何学。所谓分形就是从多个层次、多个角度、多个组成成分来共同解决一个问题。而今天要讲的FractalNet就是一个这样的结构，它通过多个不同深度的网络的组合，来共同提到模型的效果。按照作者的话，浅层提供更迅速的回答、深层提供更准确的回答。FractalNet的结构可以看成由多个以下模块组成：