深度学习之基础模型-FractalNet

最新推荐文章于 2024-08-23 09:51:47 发布
最新推荐文章于 2024-08-23 09:51:47 发布
阅读量2.7k 收藏 8
点赞数 5
分类专栏： base_model 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whz1861/article/details/78409647
版权
本文介绍了FractalNet深度学习模型，其基于自相似性设计，能替代ResNet构建深层网络。作者提出了drop-path正则化，增强网络的训练效果。实验表明，FractalNet在CIFAR-100等数据集上的性能优于ResNet，并且单列子网络也能取得良好效果。此外，深度增加能提升网络性能，FractalNet的收敛速度和最终效果均优于plainNet。
摘要由CSDN通过智能技术生成

We introduce a design strategy for neural network macro-architecture based on self-similarity. Repeated application of a simple expansion rule generates deep networks whose structural layouts are precisely truncated fractals.

思想

对于网络结构比较深的卷积模型训练起来非常困难，而残差网络的出现，给深度卷积网络带来了非常大的便利。但作者认为残差不是建立深度网络唯一的基础和方法。深度卷积网络中真正的关键所在训练过程中网络关于信息的传递能力。作者采用了一种类似student-teacher的学习机制，结合drop-path也能够使得深度卷积模型训练的非常好。

模型结构

论文主要有两方面贡献：

  • 介绍了一种FractalNet。可以代替ResNet，构建非常深的网络结构。说明residual不是极深网络所必需的
  • 同时实验分析，作者解释了FractalNet和一系列被加入到之前网络现象之间的联系。


这里写图片描述

定义：令 C 为truncated fractal函数 fC(⋅) 的下标。 fC(⋅)

最低0.47元/天 解锁文章
leo_whz
关注
专栏目录
分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记
小时候贼聪明
06-14 1万+
出了一种新的分形网络结构，它的提出就是为了证明Residual对于极深网络并不是必须的，它通过一种分形的结构，达到了类似于教师-学生机制、深度监督的效果，同样取得了非常好的效果。虽然这种方法在目前来说用的比较少，但是我觉得它的这种思路是非常值得学习的。
FractalNet: Ultra-Deep Neural Networks without Residuals
深藏功与名
03-29 3820
来自新智元的一个博文。http://www.toutiao.com/i6290496834213249537/ 【题目】分形网络：无残差的极深神经网络（FractalNet: Ultra-Deep Neural Networks without Residuals） 【作者】芝加哥大学 Gustav Larsson，丰田工大学芝加哥分校 Michael Maire 及
【有啥问啥】什么是Foundation Models（基础模型）？
Chauvin的博客
07-12 1514
Foundation Models代表了人工智能发展的一个重要方向，凭借其强大的泛化能力和广泛的应用前景，已经成为AI研究和应用的核心工具。未来，随着技术的不断进步，我们有理由相信Foundation Models将为更多行业带来变革性的影响。希望本文对您了解Foundation Models有所帮助。如果您有任何疑问或想法，欢迎在评论区交流讨论。
FractalNet（分形网络）
weixin_30853329的博客
06-04 363
-Argues that key is transitioning effectively from shallow to deep and residual representations are not necessary(认为关键是有效地从浅到深，而残差表示方法是不必要的) -Fractal architecture with both shallow and deep path...
卷积神经网络的网络结构——FractalNet
小花生的博客
10-04 852
《FractalNet: Ultra-Deep Neural Networks without Residuals》 2016，Gustav Larsson,Michael Maire,Gregory Shakhnarovich. FractalNet 转载：https://www.cnblogs.com/liaohuiqiang/p/9218445.html 分形网络：无残差的极深神经网络 ...
分形网络（FractalNet）----学习笔记
oneself的博客
08-09 1088
分形网络（FractalNet）----学习笔记
FractalNet
fnoi2014xtx的博客
06-15 184
Paper : FractalNet: Ultra-Deep Neural Networks without Residuals Code : unofficial 摘要 在各种各样ResNet魔改版横行的时候，作者提出了分形网络，并根据分型网络的网络结构模仿dropout提出了drop-path的训练方法，证明了不只有残差和shortcut一条路。分型网络在网络深度较深时也可以取得较好的表现，开阔了网络结构设计的视野。 网络结构 分型网络的模块结构大致如下 根据以上分型网络模块的结构，我们可以设计出.
深度学习之基础模型---AlexNet
whz1861的博客
09-13 1726
论文发表于2012年，由深度学习之父Hinton和他的学生发表。Alex Krizhevshy, Ilya Sutskever Geoffre E.Hinton。Hinton在深度学习领域的地位不用多说，神级别的人物，本人只能跪拜了。摘要论文训练一个非常大，深的卷机神经网络，针对120w的高精度图像（来自ImageNet LSVRC-2010）进行1000类进行识别。在测试集中，top1和top5的
深度学习之基础模型-总结
whz1861的博客
11-16 2342
目前来看，很多对 NN 的贡献（特别是核心的贡献），都在于NN的梯度流上，比如 - sigmoid会饱和，造成梯度消失。于是有了ReLU。 - ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。 - 强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。 - 太深了，梯度传不下去，于是有了highway。 - 干脆连highway的参数都不要，直接变残差，于是
深度学习之基础模型-DenseNet
whz1861的博客
11-05 2734
In this paper, we embrace this observation and introduce the Dense Convolutional Network(DenseNet), which connects each layer to every other layer in a feed-forward fashion. DenseNets have several c
keras-fractalnet, 在Keras中，FractalNet实现.zip
09-17
keras-fractalnet, 在Keras中，FractalNet实现 Keras中的 FractalNet实现电子邮件信息我建立了这个网络，但分形完成了迭代而不是功能，以避免合并分形时的额外复杂性。连接层是用一个从二项式分布抽取的共享指示器来表示是否必须使用全局或者局部放置路径。当使用局部放置路径时，
Python人工智能课程 AI算法课程 Python机器学习与深度学习 11.卷积神经网络 共76页.pdf
07-18
卷积神经网络是一种深度学习模型，特别适用于图像识别和计算机视觉等领域。通过卷积层、池化层、激活函数（如ReLU）以及正则化方法（如Dropout），CNN能够自动且高效地学习图像的层次表示。 ##### 详细内容： - **...
Caffe深度学习进阶之Cifar-10分类任务（上）
小时候贼聪明
06-16 8256
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成，一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练，10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。
《FRACTALNET: ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS》阅读笔记
69小石头的博客
05-12 441
一、论文 《FRACTALNET:ULTRA-DEEP NEURAL NETWORKS WITHOUT RESIDUALS》 二、学习资料 分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记 论文笔记：分形网络（FractalNet: Ultra-Deep Neural Networks without Residuals） 基于分形结构的极深神经网络，超越 ImageNet 2015 冠军 ResNet（附论文
【CNN】FractalNet——与DenseNet有异曲同工之妙
lingchen1906的博客
03-01 216
ResNet收敛快，但还是要经过基本的卷积结构，卷积通用的问题是缺少有效的正则化方法。所以其实FratalNet也算是ResNet的近亲，这大概也是为什么业界还是ResNet用得多的原因吧——反正都差不多，不如挑个结构最简单的。观察上图中左半部分，描述的是网络的单个模块（block）的结构。注意，这里的fC不是CNN中常用到的全连接层， 而是指分形次数为 C 的模块。（6）f4(z)作为一个block，如图中最右边的网络所示，完整的网络接了5个block，block之间用Pool层连接，最后是预测层。
探索深度学习新境界：Keras实现的FractalNet框架
gitblog_00017的博客
06-11 423
探索深度学习新境界：Keras实现的FractalNet框架 keras-fractalnetFractalNet implementation in Keras: Ultra-Deep Neural Networks without Residuals项目地址:https://gitcode.com/gh_mirrors/ke/keras-fractalnet 在深度学习领域中，我们始终追求构...
FractalNet：深度学习中的分形网络实现教程
最新发布
gitblog_00714的博客
08-23 224
FractalNet：深度学习中的分形网络实现教程 fractalnetFractalNet: A fractal-based neural network architecture项目地址:https://gitcode.com/gh_mirrors/fr/fractalnet 项目介绍 FractalNet 是一个在 GitHub 上托管的开源项目（访问项目），由 Gustav La�创建，...
DenseNet和FractalNet
Aure219的博客
06-27 1511
作为CVPR2017年的Best Paper， DenseNet脱离了通过加深网络层数(VGG，ResNet)和加宽网络结构(GoogLeNet)来提升网络性能的定式思维， 从特征的角度考虑, 通过特征重用和旁路(Bypass)设置，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度弥散问题的产生. 结合信息流和特征复用的假设， DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文。另外，本文还对FractalNet进行了介绍，FractalNet与DenseNet的设计思想有异曲同工之妙。
NVIDIA DLI 深度学习基础实践：VGG16模型与数据增强
在提供的代码片段中，可以看到一个基于 TensorFlow 和 Keras 的深度学习模型的构建过程。这段代码主要涉及到以下几个关键知识点： 1. VGG16 模型：VGG16 是一个预训练的卷积神经网络（CNN），在 ImageNet 数据集上...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值