机器学习15：why deep？

最新推荐文章于 2021-04-27 21:25:11 发布
最新推荐文章于 2021-04-27 21:25:11 发布
阅读量193 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qqqinrui/article/details/85239299
版权

一、Deep更有效率

1、90年代的Universality Theorem指出任何连续函数都可以用一层隐藏层表示出来（可能需要用到较多的神经元）；然而，实际的应用表明，Deep层更有效率。

2、对于下面的例子

图1直接使用一层网络对长发女、长发男、短发女、短发男四种类型进行分类；

图2则对分类进行模块化，一层先做两个基本的分类单元，男与女、长发与短发，第二层再做最终分类；

图中可以看出，一层网络可能会因为长发男的样本限制而使的模型分类并不理想，而多层网络在第一层的基本分类中能够维持样本数量的平衡而使模型更加有效和robust。

3、类比于逻辑电路

两层逻辑门就可以表示全部的网络，但是多层的逻辑门可以更容易设计复杂的功能

最低0.47元/天 解锁文章
勤睿
关注
专栏目录
15.Why Deep
xjtuse123的博客
05-24 580
本章讲述了为什么要是深度学习，选择“高瘦”型的深网络，而不是“矮胖”型的宽网络。 1.矮胖还是高瘦？ 我们知道在神经单元足够多、参数够多的情况下，只需要一个隐藏层，就可以表示任意的函数。既然如此为什么不选择用这种宽网络，而是选择深度网络呢？ 神经网络是越深越好吗？答案是肯定的，因为更深的网络代表着更多的参数，实验结果当然更好。倘若让它们参数一样...
机器学习系列14-为什么要做“深度”学习
weixin_44406200的博客
02-22 2217
Why Deep? 如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！ 本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别： shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测 deep：考虑了input之间的某些共同特征，所有class用同个model...
深度学习笔记——why “deep”？
li8zi8fa的博客
08-21 348
1、多层的学习效果往往比单层要好，即便参数的个数一样 2、在用C语言进行结构化编程时，我们从来不会把大量的功能写到一个函数里面，而是写很多函数同过函数调用实现目标。神经网络也类似，一个层可以看做一个函数实现了一个功能，多层结构更清晰，功能也更强大。 3、如下图所示，如果只有一层的话就很难识别长头发男生，因为其样本太少 增加一层实现识别性别的功能，在此基础上进一步区
李宏毅老师课程：Why Deep
APythonC的博客
07-24 290
DeepShallow V.s. DeepModularization（模块化）exampleSpeechlanguage basicsprocessAnalogyLogic Circuit剪窗花End-to-end LearningConclusion Shallow V.s. Deep Deep Learning在很多问题上的表现都是比较好的，越deep的network一般都会有更好的performance 那为什么会这样呢？有一种解释是： 一个network的层数越多，参数就越多，这个model就越
李弘毅机器学习笔记：第十四章—Why deep?
fly975247003的博客
09-24 400
李弘毅机器学习笔记：第十四章—Why deep?问题1：越深越好？问题2：矮胖结构 v.s. 高瘦结构引入模块化深度学习使用语音识别举例语音辨识：传统的实现方法：HMM-GMM深度学习的实现方法 DNN两种方法的对比 GMM v.s. DNN普遍性定理举例使用逻辑电路举例使用剪窗花举例使用二位坐标举例端到端的学习语音识别图像识别更复杂的任务 问题1：越深越好？ learning从一层到七层，er...
【李宏毅2017机器学习】Why deep？
Breau的博客
08-04 319
为什么同样多参数的情况下，网络变深比变宽效果更好？ 模组化 如下图，一个复杂的分类可以分解为多个简单的分类：
11、【李宏毅机器学习（2017）】Why Deep Learning? （为什么是深度学习？）
Jimmyzqb的博客
08-29 4206
理论上，一层隐藏层的神经网络就可以表示任意的函数，但是从效率、精度考量，在实际的神经网络构建中往往采用多个隐藏层（即深度学习）。本篇博客将介绍深度学习的优势。 目录 相同神经元个数的深度学习 在神经元个数相同的情况下，多层神经网络的精度高于单层神经网络。 模组化 举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出来的效...
李宏毅机器学习09—Why deep
weixin_57178683的博客
04-18 104
neuralnetwork的多层优点 为什么多层的结构效果会更好？ Modularization 模组化： 将四个类别分成分在两个基础分类之下，这样每个基础类别有足够的数据进行训练。 classifer把前面的basicclassifier当做module，收集basicclassifier的输出，每个classifier共用同样的module进行判别。 （预分类） 引用到deeplearning 需要更少的训练数据 语音识别 （这块听不懂） 1.第一步：分...
[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）
Holeung blog
06-13 4045
[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 深度学习解析） PDF VIDEODeeper is Better?Fat + Short v.s. Thin + TallModularizationDeep learning Modularization把本来复杂的问题变简单，即使training data没那么也能有较好的performance
深度学习（Deep Learning） 6.why deep?
n不正
04-15 1212
深度学习（Deep Learning） 6.why deep?1 fat+short or thin + tall? 并不是参数越多表现越好 modularization：模块化，（自动学习） Deep →\rightarrow modularization：每个模块只关注一小部分任务 machine learning是因为没有足够的data，所以需要学习。？ 2 Speech phoneme：人类
Why Deep
Do not mess it up
09-03 273
1. 从实际结果和人脑的角度：比如CNN一般都是先用比较多的小的卷积核来提取一些线条类的信息，然后用比较少的大的卷积核提取出眼睛，鼻子等局部的信息，然后再用更大的卷积核提取脸部的信息，and CNN works，这也符合人脑的处理方式。语言识别也是类似的从简答到复杂 2. thin-deep相比于fat-shallow更反应了模组化的思想，这样就能更高效的实现更复杂的拟合函数，这就像平时
机器学习-12-Why Deep?(为什么要做“深度”学习)
迷雾总会解
12-07 620
Why Deep? 本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别： shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测 deep：考虑了input之间的某些共同特征，所有class用同个model分类，share参数，modularization思想，hierarchy架构，更有效率地使用data和参数 Shallow V.s. Deep Deep is Better？ 我们都知道dee
机器学习基础笔记（11）Why Deep
追求大牛之人的博客
08-18 4385
Why Deep? 参考台湾大学李宏毅教授的PPT和笔记 本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别： shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测 deep：考虑了input之间的某些共同特征，所有class用同个model分类，share参数，modularization思想，hierarchy架构，更有效率地使用data和参数 Shallow V.s. Deep Deep
深度学习（七） Why Deep
qq_43533956的博客
04-27 298
课程链接 曾经有人证明了，用一层隐藏层的神经网络就可以表示任何函数。那么多层的深度网络是否还有必要呢？ 要回答这个问题，实际上也就是要阐述深度学习的意义和优势。 模组化 假如我们要分类长发女，长发男，短发女，短发男。直接训练这四类的数据来分类可能是比较困难的，因为长发男的数据相对较少。 但是如果将这个问题拆分成两个模组，一个分辨性别，一个分辨头发的长短，问题就迎刃而解了。 实际上深度学习中多层网络就是将解决方案模组化，这样一来，不仅使问题的解决变得简单，需要的训练数据也更少。 端到端学习 在解决一
李宏毅学习笔记10.Why Deep（上）
老毛的博客
06-06 531
本节课老师从深度学习的学习效率与深度的关系开始展开，谈到了魔主化，并给出了老师的研究方向中的应用：语音识别中为什么DNN可以work better的原因。
2020李宏毅学习笔记——12.Why deep？
weixin_44554337的博客
06-11 276
由题目明白我这一章主要学的是个嘛？ why deep而不是why shallow 给个两组实验，第一组就是：，越深的神经网络，其参数越多，模型也就越复杂，当然能够拟合更为复杂的函数 第二组表明：单增加netural的数目，不增加layer时没办法提高准确率的。 1.为嘛，deep比swallow好？ 1.1Modularization：魔主化 分层次，逐层解决各个小问题，不断深入。比如长头发女生，短女，长男，短男。魔主化是自动完成的，不需要我们人为决定第一层检测什么特征，第二层检测什么特征。这样每一次要干的
李宏毅机器学习——Why Deep总结
Fighting Hua
11-22 390
问题1：越深越好？ learning从一层到七层，error rate在不断的下降。能看出network越深，参数越多，performance较也越好。 问题2：矮胖结构 v.s. 高瘦结构 比较shallow model较好还是deep model较好，在比较的时候一个前提就是调整shallow和Deep让他们的参数是一样多，这样就会得到一个矮胖的模型和高瘦的模型。 这个实验的后半段的实验结果是：我们用5层hidden layer，每层2000个neural，得到的error rate是17.2%（
机器学习之why deep？
努力的小硬币
03-21 226
模块化： 使用模块化，使用的数据是可以比较少的 如下图，分类中，男生长发的数据是比较少的，那么就模块化！ 如下图，模块化，先基本分类，男生和女生；长发和短发。 半监督学习： 为什么需要半监督学习？ 我们需要data,但是有用的数据是比较少的， 会讲下面4个内容 一、半监督学习在Generative Model 这部分内容应该用不上。。。先忽略掉好了 二、半监督学习之self-training...
机器学习实战：特征工程详解与工作流程
"特征工程是机器学习中至关重要的一环，涉及到数据采集、清洗和采样等多个阶段，旨在从原始数据中提炼出对预测任务有用的特征，以提高模型的预测性能。这一过程通常由数据科学家和工程师合作完成，通过专业的背景...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值