【深度学习】论网络深度的利弊

已于 2023-01-26 16:13:26 修改
阅读量2.9k 收藏 2
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 人工智能 计算机视觉 神经网络 cnn
于 2017-12-18 20:52:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JNingWei/article/details/78837083
版权

利

  1. 网络容量更大 -> 模型表达（抽象）能力更强

弊

不好收敛：

  1. 梯度问题 (弥散 / 爆炸) -> 收敛慢。

总结

  • 深度神经网络就像一个数学公式。公式越复杂，最高项次数越高，能表达的模型就越复杂，覆盖的值域也就越广。
  • But，也越容易陷入过拟合，使得模型性能不增反降。
  • So，这是一个trade-off。

[1] 深层学习为何要“Deep”（上）
[2] 深层学习为何要“Deep”（下）

JNingWei
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习之 深度前馈网络
ClarkChang的博客
07-02 951
    上一篇简单介绍了深度学习概念，本文将介绍最典型的神经网络模型之，深度前馈网络(deep feedforward network)，也叫做前  馈神经网络(feedforward neuralnetwork)。   深度前馈网络是典型的深度学习模型，目标是近似某个函数f*，比如映射y=(x;)，并学习的值，使他能够得到函数近似值。 是深度网络的基础。下面简单介绍深度前馈网络的概念，架构，算法...
深度学习入门~深层神经网络
fatfairyyy的博客
04-21 758
深层神经网络 上图为Logistic回归（浅层模型，1 layer NN）、单层的神经网络（2 layer NN）、带双层的神经网络和五层的神经网络（深层模型）。浅层和深层是用来形容神经网络的“程度”的。 深层神经网络模型 这里是一个四层神经网络，四层带有三个隐藏层（最后单个神经元为输出层），隐藏层中单元的数目为5、5、3。用大写字母L来表示神经网络的层数。 此例中 L = 4。用n【l】来表示某一层神经元的数量。 本例中n^[0] = n_x = 3,n^[1] = 5。对于每一层l，用a【l】来表
深度学习笔记（十）--深度神经网络的致命问题
小熊猫的博客
07-26 5444
随着神经网络层数的加深，有三个重大问题： 一是非凸优化问题，即优化函数越来越容易陷入局部最优解； 二是（Gradient Vanish）梯度消失问题； 三是过拟合问题。 1、 非凸优化问题 线性回归，本质是一个多元一次函数的优化问题，设f(x,y)=x+y 多层神经网络，本质是一个多元K次函数优化问题，设f(x,y)=xy 在线性回归当中，从任意一个点出发搜索，最终必然是下降到全局最小值...
深度神经网络问题以及解决方法
jiangchao98的博客
04-06 3984
深度神经网络问题以及解决方法 参考博客：深度学习中的highway network、ResNet 参考博客：神经网络梯度与归一化问题总结 一份详细讲解的代码：https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/ 问题一：误差信号的多层反向传播容易产生“梯度消失”、“梯度爆炸”现象 问题二：随着深度神经网络层数的增加，训练误差没有降低反而升高 当神经网络层数过深的时候，会出现“退化”的现象，即在网络层数加深时，网络的loss不降
深度学习需要更深网络结构的原因
gz7seven
04-25 1622
    从近些年来深度学习的发展看，深度学习模型结构越来越复杂，越来越丰富，同样网络深度也随之增加，由此引发了很多猜测，比如为什么需要更深的网络结构？更深的网络结构就使算法的性能一定很好吗？本文大概说一下前一个问题，后面在讨论第二个问题。 1、引发此问题的模型     本人认为正真让学者开始重视网络深度的模型应该是VGG模型的出现，当然以前也有学者提出过增加网络深度的问题，但是让学者普遍接受“深度增加可以提升网络模型性能”是由于VGG的出现。当然，VGG的出现也引发了第二个问题，此处不进行分析。     A
吴恩达深度学习学习笔记-5为什么深的神经网络表现更好
qq_27560349的博客
06-25 299
实践正面，深度深即多隐层，每层神经元节点个数不多，这样搭建的神经网络效果更好，为什么呢？ 我们来看一些例子。 首先，深度网络究竟在计算什么。 如果你在建一个人脸识别系统，深度神经网络做的事情就是，当你输入一张脸的照片，然后第一层可以看作一个特征探测器，或者边缘探测器。例如，我们建立了每层大概20多个hidden unit的神经网络。如下图，每个小方块就是一个隐藏单元，它会去找这张图片中边缘的信息。 然后，把这些探测到的边缘组合成面部的不同部分，例如有些找眼睛，有些鼻子。最后再把这些部分放一起，组成一张人脸。
图神经网络越深，表现就一定越好吗？
timetime88的博客
08-19 272
图神经网络越深，表现就一定越好吗？ 转载：https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9365138010860825390%22%7D&n_type=0&p_from=1
基于深度学习理论的地理学习策略——以人教版《乡村和城镇》教学为例.pdf
08-18
"基于深度学习理论的地理学习策略——以人教版《乡村和城镇》教学为例" 本文对浅层学习与深度学习进行解读，以人教版《乡村和城镇》教学为例，论述基于深度学习理论的高中地理学习策略。 一、浅层学习与深度学习 ...
浅析网络环境下合作学习的利弊及其与教育教学结合产生.doc
08-12
同时，网络环境提供了丰富的学习资源，有助于拓宽学生的知识视野，促进知识的深度学习和个性化探索。此外，网络环境下的合作学习还能培养学生的自主学习能力，因为他们需要自我管理和控制学习进度，解决学习中遇到的...
机器人辅助全膝关节置换术的利弊.pdf
08-13
#资源达人分享计划#
Python-Deep-Learning-Cookbook:Packt出版的《 Python深度学习食谱》
05-28
Python深度学习食谱 这是发布的的代码库。 它包含从头到尾完成本书所必需的所有支持项目文件。 关于这本书 深度学习正在彻底改变各种行业。 在许多应用中，深度学习已被证明可以做出更快，更准确的预测，从而胜过...
人工智能演讲ppt，普及这一篇就够了
03-05
资源为人工智能ppt，作为演讲、科普、学习使用， 历史、现状、展望、利弊、伦理，都有提及 ppt效果还不错，视觉效果很好，有需要的同学可以下载使用
【无标题】
super339的博客
08-19 161
深度学习是基于机器学习延伸出来的一个新的领域，由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展，并伴随大数据和计算能力的提高而产生的一系列新的算法AI爱发猫。在深度学习中，计算机模型学习直接从图像、文本或声音中执行分类任务。深度学习模式可以达到新的精确度，有时甚至超过人类的表现。大多数深度学习方法使用神经网络的架构，这也是深度学习模型通常被称为深度神经网络的原因。。
人工神经网络的功能特点,神经网络的优缺点
aifamao3的博客
08-12 1627
此时，网络学习了过多的样本细节，而不能反映样本内含的规律由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；多层前向BP网络的问题：从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。第三，具有高速寻找优化解的能力。...
【AI不惑境】网络深度对深度学习模型性能有什么影响？
hacker_long的专栏
04-27 2106
大家好，这是专栏《AI不惑境》的第二篇文章，讲述模型深度与模型性能的关系。 进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那么到这个阶段，应该跃过了模仿和追随的阶段，进入了创造的阶段。从这个境界开始，讲述的问题可能不再有答案，更多的是激发大家一起来思考。 作者&编辑 | 言有三 深度学习模型之所以在各种任务中取得了成...
【机器学习合集】模型设计之网络宽度和深度设计 -＞（个人学习记录笔记）
最新发布
slience_me的博客
10-30 1379
【机器学习合集】模型设计之网络宽度和深度设计 -＞（个人学习记录笔记）
网络深度对深度学习模型性能的影响
qq_38156104的博客
07-24 1909
宽度，即通道(channel)的数量。注意这里说的和宽度学习一类的模型没有关系，而是特指深度卷积神经网络的宽度。 为什么需要足够的宽度 网络更深带来的一个非常大的好处，就是逐层的抽象，不断精炼提取知识。如下图第一层学习到了边缘，第二层学习到了简单的形状，第三层开始学习到了目标的形状，更深的网络层能学习到更加复杂的表达。如果只有一层，那就意味着要学习的变换非常的复杂，这很难做到。 而宽度就起到了另外一个作用，那就是让每一层学习到更加丰富的特征，比如不同方向，不同频率的纹理特征。 下面是Alex.
深度网络概览
周红伟讲AI
09-04 1069
 深度网络概览 From Ufldl Jump to: navigation, search Contents [hide] 1 概述2 深度网络的优势3 训练深度网络的困难 3.1 数据获取问题3.2 局部极值问题3.3 梯度弥散问题 4 逐层贪婪训练方法 4.1 数据获取4.2 更好的局部极值 5 中英
【深度学习】学习率 (learning rate)
热门推荐
JNing
02-02 10万+
【深度学习】学习率 (learning rate)
图像配准python 深度学习
08-11
在深度学习中，图像配准可以使用神经网络来实现。一种常见的方法是使用卷积神经网络（CNN）进行图像配准。 以下是使用深度学习进行图像配准的示例代码： ```python import tensorflow as tf from tensorflow.keras.layers import Conv2D, Dense, Flatten from tensorflow.keras.models import Sequential # 创建一个卷积神经网络模型 model = Sequential() model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(image_height, image_width, image_channels))) model.add(Conv2D(64, (3, 3), activation='relu')) model.add(Flatten()) model.add(Dense(128, activation='relu')) model.add(Dense(2)) # 输出平移向量 # 编译模型 model.compile(optimizer='adam', loss='mse') # 准备训练数据 x_train = [...] # 输入图像数据 y_train = [...] # 输出平移向量数据 # 进行训练 model.fit(x_train, y_train, batch_size=32, epochs=10) # 使用训练好的模型进行图像配准 registered_images = [] for image in images: # 将图像输入模型，得到平移向量 translation = model.predict(image) # 应用平移向量将图像配准 registered_image = apply_translation(image, translation) registered_images.append(registered_image) ``` 在上述示例中，我们首先创建一个卷积神经网络模型，该模型接受图像作为输入，并输出平移向量。然后，我们使用训练数据对模型进行训练，使其学习图像和平移向量之间的关系。最后，我们使用训练好的模型对输入图像进行配准。 需要注意的是，上述示例代码中的具体实现细节可能会根据你的实际需求而有所不同。你可能需要根据你的数据集和任务来调整模型的结构、训练方法和配准过程。 深度学习方法在图像配准中具有一定的优势，尤其是在处理复杂的图像变换和大规模数据集时。然而，深度学习方法通常需要更多的计算资源和更多的训练数据，因此在实际应用中需要权衡利弊。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值