15.Why Deep

最新推荐文章于 2022-09-02 18:05:06 发布
最新推荐文章于 2022-09-02 18:05:06 发布
阅读量545 收藏 1
点赞数 1
分类专栏： 深度学习_李宏毅课程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xjtuse123/article/details/90372393
版权
本文探讨了为何选择深度学习而非宽网络，强调深度网络的参数效率和模块化思想。通过模块化的例子说明深度学习如何在分类任务中更好地利用层次信息。此外，还介绍了深度学习的端到端学习优势，简化了特征工程，以及在复杂任务如语音识别和图像识别中的应用。
摘要由CSDN通过智能技术生成

       本章讲述了为什么要是深度学习，选择“高瘦”型的深网络，而不是“矮胖”型的宽网络。

1.矮胖还是高瘦？

       我们知道在神经单元足够多、参数够多的情况下，只需要一个隐藏层，就可以表示任意的函数。既然如此为什么不选择用这种宽网络，而是选择深度网络呢？

      神经网络是越深越好吗？答案是肯定的，因为更深的网络代表着更多的参数，实验结果当然更好。倘若让它们参数一样，也就是如果有两个网络，一个矮胖，一个瘦高，哪个效果更好？在对比不同网络形状的效果时，要注意保证两个网络的参数数量基本一致，这样才有比较的意义。

       由上图可以看出，在5*2K和1*3772这两个网络参数基本相等的情况下，前者的性能明显优于后者，并且宽的网络在尺寸不断增大时，性能提升的也不明显。

2.

最低0.47元/天 解锁文章
Aamax
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Generalization in Deep Learning.pdf
03-29
Our results give insight into why and how deep learning can generalize well, despite its large capacity, complexity, possible algorithmic instability, nonrobustness, and sharp minima, answering to ...
为什么使用深度神经网络？（Why use deep neural network?）
一只攻城狮的博客
12-11 2782
为什么使用深度神经网络？（Why use deep neural network?） 我们都知道深度神经网络能解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？我们一起来看几个例子来帮助理解，为什么深度神经网络会很好用。 首先，深度网络在计算什么？   首先，深度网络究竟在计算什么？如果你在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当你...
为什么是深度神经网络而不是宽度神经网络？增加神经网络的深度相比于增加宽度有哪些优点？
KeEN_Xwh的博客
01-31 6186
为什么是深度神经网络而不是宽度神经网络？增加神经网络的深度相比于增加宽度有哪些优点？ Bengio和LeCun等人的论文《Scaling learning algorithms towards AI》中提到，如果一个深层结构能够刚刚好解决问题，那么就不可能用一个更浅的同样紧凑的结构来解决，因此要解决复杂的问题，要么增加深度，要么增加宽度。但是神经网络一般来说不是越深越好，也不是越宽越好，并且由于计算量的限制或对于速度的需求，如何用更少的参数获得更好的准确率无疑是一个永恒的追求。而目前针对网络宽度的研究远远不
机器学习基础笔记（11）Why Deep
追求大牛之人的博客
08-18 4350
Why Deep? 参考台湾大学李宏毅教授的PPT和笔记 本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别： shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测 deep：考虑了input之间的某些共同特征，所有class用同个model分类，share参数，modularization思想，hierarchy架构，更有效率地使用data和参数 Shallow V.s. Deep Deep
深度学习简介
yuemo3353009的博客
01-20 311
资料来源：台大 李宏毅 2020机器学习深度学习课程 文章目录Ups and downs of deep learning Ups and downs of deep learning 1958: Perceptron感知机 (linear model) 和逻辑回归相似，没有sigmoid的部分 1969：Perceptron has limitation ...
深层神经网络与浅层神经网络的区别
热门推荐
ybdesire的专栏
12-18 2万+
深度学习，为什么要“深”？
台湾老李--为什么高瘦网络比矮胖性能好
qq_34514046的博客
07-12 504
模块化需要更少参数语音和图像之前浅层方法需要大量特征工程，深度学习方法都是自动从数据中学习
李宏毅机器学习2016 第十讲 为什么是“深度”学习
Come_for_IT 的博客
01-18 496
视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第九讲笔记：李宏毅机器学习2016 第九讲 卷积神经网络Why Deep Learning？本章讲述了为什么要是深度学习，是选择“高瘦”型的深网络，而不是“矮胖”
深度学习之为什么要“深度”
加文斯利的博客
05-24 369
Why deep？ 就像写程序一样，不能把所有程序都放在main里，一层冗余太大，且不能“复用”。 Modularization：模组化，可以用较少的数据获得较好的结果。在第二层里，将第一层的结果作为模型去生成分类器（什么意思？） 正是因为样本不够多，所以才要进行深度学习，如果样本足够多，直接Big Data就可以分类了 模组化-Speech 语音识别的第一阶段 ·分类：input -> acostic feature [声学特性], output -> state[状态] 如图，每次取一个窗
Deep Learning Cookbook
07-25
A second important factor for “why now” is that large datasets have become available for everybody. Yes, Facebook and Google might still have the upper hand with access to billions of pictures, user...
Deep learning with caffe
06-22
76 页的ppt。 the why and how of Caffe highlight reel of examples + applications do-it-yourself notebooks
learning Rates and How It Improves Performance in Deep Learning.pdf
08-02
Improves Performance in Deep Learning This post is an attempt to document my understanding on the following topic: What is the learning rate? What is it’s signibcance? How does one systematically ...
为什么是“深度”学习而不是宽度？
CJX_up的博客
08-07 6623
为什么是深度而不是宽度？ 先说说我个人的理解，如下图所示，圆圈表示神经元，有两种方式。第一种，只有一层神经层，有8个神经元；第二种方式，有两层神经层，分别有2个和4个神经元。相比之下，第一种更“宽”更“浅”，第二种更“窄”更“深”。对于每个输入，两种方式都可能产生8种结果(第一种：8*1；第二种：2*4)，但是第二种方式的神经元总数更少。 因此，在神经元数目相同的情况下，“深度”学习出现的情况
深度学习为什么这么深
david0611的博客
06-14 1362
本来是阅读周志华在“2018京东人工智能创新峰会”的演讲和知乎上相关文章的一些心得和总结。 1 深度学习的兴起 深度学习是机器学习中使用深度神经网络的的子领域。机器学习是一门老手艺，神经网络更是热度几经起伏的传统技术。目前在文本、声音、图形（视频）处理领域应用越来越热，效果越来越好的深度学习技术，核心在于多层神经网络。 有多深呢？在 2012 年深度学习刚刚开始受到大家重视的时候，H...
什么是胖Model和瘦Model?
LVXIANGAN的专栏
07-12 2033
胖Model （Fat Model）：在Model 中对数据根据需要进行处理，让Controller可以直接使用经过处理后的数据。 瘦Model（Thin Model）：Model中的数据不进行任何处理或修改，原封不动的把服务器返回内容发送给Controller。 举例：后台服务器返回时间格式：yyyy-mm-dd hh:mm:ss，但客户端只需要显示yyyy-mm-dd， 在胖Mode
神经网络的深度、宽度和分辨率
qq_42178122的博客
03-13 3870
转载 深度和宽度是深度神经网络的两个基本维度，分辨率不仅取决于网络，也与输入图片的尺寸有关。 对于深度和宽度，以及他们对网络性能的影响，这篇博客有介绍： 深度学习网络的宽度和深度怎么理解，增加宽度和深度对网络模型有什么影响？ 简单总结就是： 深度——神经网络的层数 更深的网络，有更好的非线性表达能力，可以学习更复杂的变换，从而可以拟合更加复杂的特征，更深的网络可以更简单地学习复杂特征。 网络加深会带来梯度不稳定、网络退化的问题，过深的网络会使浅层学习能力下降。深度到了一定程度，性能就不会提升了，还有可能会下
理论上sigmoid等函数可以拟合所有函数，为什么我们还是追求深的神经网络，而不是宽的神经网络
MechaBunny's Cyberia
09-02 459
如果你建立了一个非常宽、非常深的网络，网络可能会记住训练时所有输入对应的输出，但你最终会得到一个无法泛化新数据的神经网络。例如，如果你要训练一个深度卷积神经网络对图像进行分类，你会发现第一层会训练自己识别非常基本的东西，如边缘，下一层会训练自己识别边缘的集合，如形状，下一层会训练自己识别形状的集合，如眼睛或鼻子，下一层甚至会学习更高阶的特征，如脸。因此，如果你用每一个可能的输入值来训练网络，一个超宽的网络最终可以记住你想要的相应输出值，但从实际应用的角度来说，这没有价值。深度为2，宽度为6的神经网络。
3.误差分析
xjtuse123的博客
05-20 4707
理解 Bias 与 Variance 有监督学习中，预测误差的来源主要有两部分，分别为 bias 与 variance，模型的性能取决于 bias 与 variance 的 tradeoff ，理解 bias 与 variance 有助于我们诊断模型的错误，避免 over-fitting 或者 under-fitting. 我们知道，不同的model对同一testi...
ubuntu20.0 yolov5 deepsort gazebo
最新发布
07-25
DeepSORT 是一个用于多目标跟踪的算法，它结合了目标检测和卡尔曼滤波。Gazebo 是一个用于仿真机器人和环境的开源软件。您可以使用Ubuntu 20.04 来安装和运行Yolov5、DeepSORT 和Gazebo，并进行相关的开发和实验。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值