李宏毅ML lecture-11 why deep

最新推荐文章于 2021-05-23 14:37:39 发布
最新推荐文章于 2021-05-23 14:37:39 发布
阅读量322 收藏
点赞数
分类专栏： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arron_hou/article/details/87837100
版权
本文探讨了深度学习为何能以较少的参数和数据实现与传统机器学习算法相同的效果，并深入解析了深度学习在模组化、电路设计及窗花图案识别等领域的应用。通过对比不同深度模型在相同参数规模下的表现，文章论证了深度模型的优势所在。
摘要由CSDN通过智能技术生成

李宏毅ML lecture-11 why deep

这节课主要将深度学习的深度是如何体现的.

Seide, Frank, Gang Li, and Dong Yu. “Conversational Speech Transcription Using Context-Dependent Deep Neural Networks.” Interspeech. 2011.
在这里插入图片描述
如图所示,同样参数规模下,模型越深效果越好!
李弘毅老师是这样认为的:
同样效果下DeepLearning 所需的参数更少,所以所需的数据更少!
与我们的常识AI=Big Data+DeepLearning 相反.
但是我觉得"同样效果下"这个前置条件,很有意思.当DeepLearning 达到以往机器学习算法的效果时,他所需的参数以及数据是更少的,但是我们的目标是追求最好的效果,所以不断的增加深度,也就是增加参数,所以需要的数据更多.这个就是目前我们的错觉.

Deep → Modularization

The modularization is automatically learned from data.
Deep 表示模组化(Modularization)

电路

在这里插入图片描述

窗花

在这里插入图片描述

End-to-end Learning

处理复杂的问题—语音问题

在这里插入图片描述
端到端生产线由一组简单的function组成

使用Deep Learning 的理由

完成复杂的任务

  1. 输入相似的data,输出不同的feature
  2. 输出不相似的data,输出相同的feature

learning more

Deep Learning: Theoretical Motivations (Yoshua Bengio)
http://videolectures.net/deeplearning2015_bengio_theoretical_motivations/
Connections between physics and deep learning
https://www.youtube.com/watch?v=5MdSE-N0bxs
Why Deep Learning Works: Perspectives from Theoretical Chemistry
https://www.youtube.com/watch?v=kIbKHIPbxiU

Arron_hou
关注
专栏目录
机器学习 李宏毅 L22-why deep
okgagaga的博客
01-30 245
提出问题 对于同样规模参数的网络，层数较高的网络表现较好。这是为什么呢？why deep ?? 这里引入modularization的概念，模组化。 DNN的前面部分是进行较为简单的特征提取，因此需要较少的training data。 语音识别 语音由一串phoneme组成，每个单词由一串phoneme组成，但是实际发音时会受到前后单词的影响，而形成相同phoneme会发出不同
李弘毅机器学习笔记：第十四章—Why deep?
fly975247003的博客
09-24 413
李弘毅机器学习笔记：第十四章—Why deep?问题1：越深越好？问题2：矮胖结构 v.s. 高瘦结构引入模块化深度学习使用语音识别举例语音辨识：传统的实现方法：HMM-GMM深度学习的实现方法 DNN两种方法的对比 GMM v.s. DNN普遍性定理举例使用逻辑电路举例使用剪窗花举例使用二位坐标举例端到端的学习语音识别图像识别更复杂的任务 问题1：越深越好？ learning从一层到七层，er...
台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep?
Allenlzcoder的博客
01-15 615
台大李宏毅Machine Learning 2017Fall学习笔记 (12)Why Deep?本博客整理自： http://blog.csdn.net/xzy_thu/article/details/69808817 在比较浅层网络与深层网络时，要让“矮胖”的网络和“高瘦”的网络的参数数目相等，这样比较才公平。 即便是在深层网络参数较少的情况下，深层网络也会比浅层网络表现好。 这是因为
李宏毅学习笔记10.Why Deep（下）
老毛的博客
06-07 896
文章目录前言打个比方（Analogy）举个栗子（奇偶校验parity check）另外一个栗子（剪窗花）小实验toy example端到端学习语音识别例子图像识别例子更多需要DNN才能解决的复杂task其他参考资料 前言 接上节内容：李宏毅学习笔记11.Why Deep（上）。本节课老师从他老本行EE（Electronic Engineering）逻辑电路类比了神经网络，讲解了为什么神经网络有层次...
李宏毅 -DeepLearning-2017-Why Deep
zjguilai的博客
05-10 274
主讲内容：CNN DNN的优势！！！！！ CNN的layer层数越深，得到的word Error就越低，因为层数越深，参数就会越多，同时就会得到更好的结果，如图： 那么我们拿两个参数几乎一样的参数的cnn但是层数不一样，一个是高瘦，另一个是矮胖的比较哪个更好呢？例如： 图中箭头双方模型的参数树木是接近的。我们会发现，一层的矮胖的network的performance的能力是有限的，那么怎么来衡...
李宏毅教授ML-2022Spring-HW1-SampleCode-TrainingData
01-17
2022年春季，台湾大学的李宏毅教授开设了一门面向深度学习（Deep Learning）和机器学习的课程，旨在让学生掌握这一领域的核心概念和技术。本篇将详细探讨该课程的第一次作业，包括提供的Sample Code和训练数据。 ...
ML2021-Spring:李宏毅（Hung-Yi Lee）机器学习Machine Learning 2021 Spring
03-06
该存储库包含李宏毅（Hung-Yi Lee）指导的15项机器学习家庭作业的代码和幻灯片。 有关该课程的所有信息都可以在上找到。 讲座视频 讲座视频可在Hung-Yi Lee的。 15作业 HW1：回归 HW2：分类 HW3：CNN HW4：自我...
Deep Learning Tutorial by 李宏毅 (Hung-yi Lee)
03-13
《李宏毅深度学习教程》是由台湾大学的著名教授李宏毅（Hung-yi Lee）提供的深度学习资源，因其深入浅出的讲解而备受推崇。这份教程覆盖了深度学习的基础到高级概念，对于想要理解并掌握这一领域的学习者来说，无疑...
李宏毅机器学习--Datawhale202210.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅HW1-covid.train.csv
最新发布
06-18
李宏毅HW1-covid.train.csv
李宏毅机器学习——Why Deep总结
Fighting Hua
11-22 406
问题1：越深越好？ learning从一层到七层，error rate在不断的下降。能看出network越深，参数越多，performance较也越好。 问题2：矮胖结构 v.s. 高瘦结构 比较shallow model较好还是deep model较好，在比较的时候一个前提就是调整shallow和Deep让他们的参数是一样多，这样就会得到一个矮胖的模型和高瘦的模型。 这个实验的后半段的实验结果是：我们用5层hidden layer，每层2000个neural，得到的error rate是17.2%（
2021 李宏毅学习笔记——6.Deep Learning&why deep&Backpropagation
weixin_44790306的博客
05-23 796
文章目录摘要 摘要 本章首先是通过逻辑回归的限制，引入了深度学习的概念；其次介绍了深度学习的发展与广泛的应用领域；以及Deep learning 的三个Step，一是定义一个函数集，也就是神经网络（neural network），二是定义一个函数的好坏（找到合适的参数），三是选一个最好的函数；在step1中用Matrix Operation矩阵运算去表示netural神经元的运作；在step2中去调整netural神经元的参数，用交叉熵函数作为损失函数，去使交叉熵的值越小越好；在step3中仍然是应用梯度下
【台大李宏毅ML课程】Lecture 6-11 Deep Learning笔记
code_caq的博客
03-13 550
李宏毅老师ML课程的Lecture 6-11都是在讲deep learning，所以合在一起总结好了。 主要内容我用xmind大致总结了一下。 如有错误，请务必指正谢谢！！ 用图来源于课程以及网上的图~ 1.Deep learning发展史 略（= =||） 2.Mini-batch Gradient Descent 每次（one epoch）选取一部分数据进行梯度下降，从而参数...
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
李宏毅机器学习课程笔记4：CNN、Why Deep、Semi-supervised
徐子尧的博客
04-09 8663
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第10-12课所做的笔记和自己的理解。Lecture 10: Convolutional Neural Network Why CNN for ImageCNN的参数比全连接神经网络少得多，为什么CNN只用较少的参数就可以用于处理图
深度学习（Deep Learning） 6.why deep?
n不正
04-15 1222
深度学习（Deep Learning） 6.why deep?1 fat+short or thin + tall? 并不是参数越多表现越好 modularization：模块化，（自动学习） Deep →\rightarrow modularization：每个模块只关注一小部分任务 machine learning是因为没有足够的data，所以需要学习。？ 2 Speech phoneme：人类
[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）
Holeung blog
06-13 4075
[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 深度学习解析） PDF VIDEODeeper is Better?Fat + Short v.s. Thin + TallModularizationDeep learning Modularization把本来复杂的问题变简单，即使training data没那么也能有较好的performance
【李宏毅ML笔记】17Keras Demo2
wffzxyl的博客
03-02 828
在testset上预测结果不好，那么要先看trainingset上结果好不好。或者说，在trainingset上只有overfitting了，在testset上才有优化的空间。 在trainset上evaluation效果不好时 0 可以观察每一个epoch的每一个bachsize 1 更换activation function，比如从sigmoid改为relu。最后一个用softmax
搜索技巧——奇偶剪纸
JKdd123456的博客
08-19 402
一、 关于奇偶剪枝 1、 首先举个例子，有如下4*4的迷宫，'.'为可走路段，'X'为障碍不可通过 S... .... .... ...D 从S到D的最短距离为两点横坐标差的绝对值+两点纵坐标差的绝对值 = abs(Sx - Dx) + abs(Sy - Dy) = 6，这个应该是显而易见的。 遇到有障碍的时候呢 S.XX X.XX ...X ...D 你会发现不管你怎么绕路，最后...
李宏毅课程作业-微型食品分类数据集
整个数据集是李宏毅视频课程作业的一部分，适用于学习机器学习和深度学习相关知识。" 在深入分析这个数据集之前，我们先来探讨一下它的应用背景和相关技术知识。食物分类任务是计算机视觉领域的一个典型应用，通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值