【李宏毅机器学习】Why Deep Learning（p15） 学习笔记

最新推荐文章于 2022-03-20 09:38:11 发布
最新推荐文章于 2022-03-20 09:38:11 发布
阅读量397 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 深度学习 神经网络 机器学习 李宏毅
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45947476/article/details/121666283
版权

全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语

2020版课后作业范例和作业说明在github上：点击此处

李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网络（RNN）、强化学习（RL）等深度学习的内容。

博客内容多为转载。结合哔哩大学的视频观看效果更佳。
在这里插入图片描述

文章目录

Deep is better

在这里插入图片描述

Fat+Short vs Thin+Tall

shallow vs deep
在这里插入图片描述

在这里插入图片描述
为什么deep learning不是简单的增加参数，来实现好的效果？

Modularization 模块化

做deep learning 实际上就是做模块化的过程

并不是在主函数里放入所有的东西，而是写了很多小的function，降低程序复杂度，使其变得简洁
在这里插入图片描述
长头发男生和短头发女生的数据都很少
在这里插入图片描述
将直接判断长头发男生还是短头发女生的问题，拆分为，先判断男孩女孩，再判断长头发短头发，这样就不会出现数据太少的问题（长/短头发，男女生的数量都很多）
在这里插入图片描述

深度模型就是特征提取模块+分类器模块

每个分类器去参考前面的基础分类器，把他们当作module模块，每个分类器都共用同样的模块。即，后面的分类器可以利用前面的分类器。
在这里插入图片描述

每一个neural相当于一个基础分类器，后一层的neural把前一层基础分类器的output当作input，以此类推，，，

在deep learning中，模块化是从数据中自动学到的。

做modularization的好处是把复杂模型变得简单，就算训练数据不多，也可以做好。

Deep Learning反而需要更少的数据！而不是需要更多的数据才可以深度学习。

如果有足够的数据，直接table lookup查表就好了，就不需要Machine Learning了。
而我们没有足够的数据，就无法查表，所以需要Deep Learning
在这里插入图片描述

Modularization - Image

在这里插入图片描述

Modularization - Speech

人类语言的分层化结构

Phoneme：音素
Tri-phone：三音素
同样的音素可能会有不同的发音
在这里插入图片描述

语音辨识的步骤

The first stage of speech recognition 的第一步

分类：输入声学特征，输出state
每隔一段时间取一个window，得到一系列的声学特征
第一步做的工作就是：决定每一个声学特征属于哪个state，仅此而已，还有其他很多步骤，在此不讨论。
在这里插入图片描述

Each state has a stationary distribution for acoustic features.(每个state对于声学特征有着平稳的分布)

对比Deep learning前后，语音辨识模型有什么不同。

要做的事情，在语音辨识第一阶段的任务就是分类，决定每个声学特征属于哪个state

传统方法：

中英文会有很多的tri-phone，每一个Phoneme 随着文本的不同，也要用不同的model，所以会遇到训练数据不够的情况。

在这里插入图片描述

有一些state会共用同样的model distribution，相当于不同的pointer指向了相同的address
在这里插入图片描述

深度学习出现后的方法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

难得听懂的重点

在这里插入图片描述

  • 比如100个神经元，1层的话只能表示网络能表示的情况的集合，就是function set。
  • 而多层还可以表达“元素”间的位置关系（搭配关系）。

在这里插入图片描述
在这里插入图片描述

折叠空间

将空间做各种对折，就可以有复杂图案

一笔data可以发挥5笔data的作用
Deep Learning可以充分利用数据

在这里插入图片描述

hidden layer多的模型，在数据少的时候效果好
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

DeepLearning其他好处

在这里插入图片描述
不同的人说相同的话，经过多层hidden layer之后，就聚合在一起了

在这里插入图片描述
在这里插入图片描述

手写数字识别
在这里插入图片描述

还有更多使用deep learning的理由

在这里插入图片描述
在这里插入图片描述

running snail szj
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
11、【李宏毅机器学习（2017）】Why Deep Learning? （为什么是深度学习？）
Jimmyzqb的博客
08-29 4186
理论上，一层隐藏层的神经网络就可以表示任意的函数，但是从效率、精度考量，在实际的神经网络构建中往往采用多个隐藏层（即深度学习）。本篇博客将介绍深度学习的优势。 目录 相同神经元个数的深度学习 在神经元个数相同的情况下，多层神经网络的精度高于单层神经网络。 模组化 举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出来的效...
为什么深度学习有效？（why deep learning works）
weixin_30345577的博客
11-30 312
总述：这篇文章是一次听讲座，吴大鹏教授做的why deep learning works，佛罗里达大学教授，很有名。自己对该讲座做个理解。 一、深度学习的背景相关介绍 　　1、machine learning：一般的ml只针对线性分类，即只是一个linear methods。 　　2、neural networks：第二代神经网络，是对ml的一个发展，更好地非线性分类。通过BP算法，调参数...
why deep learning?我们为什么要使用深度学习？
ygp12345的博客
10-02 416
深度学习在语音识别的应用 模块化在语音识别的应用，下图是人类语言的分层结构，比如what do you think？语言学家将其分为了若干phoneme(音位)，但是由于人类的发音器官发出的同一个phoneme的声音可能不一样，因为会受到前后phoneme的影响，所以我们要将原本的phoneme加上前后的phoneme组成新的被称为tri-phone的model，也就是一个phoneme用不同的model去描述。然后一个model有若干种state。 语音识别的第一阶段，输入时声音特征，我们把一段声音切成若
《机器学习》学习笔记（十二）—Why Deep Learning?
时光机的学习博客
04-29 188
深度 VS 宽度 在神经元个数相同的情况下，多层神经网络的精度高于单层神经网络。 （深瘦的模型会比浅胖的模型有更好的表达能力。） Modularization—模组化 我们在写大型程序时候，会调用各种函数，将程序模块化，这样程序可以完成很多复杂的功能。深的神经网络完成的工作和模块化类似 举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出...
机器学习笔记5_Why Deep Learning & BP
爱技术的小白
03-20 505
本文是李宏毅机器学习的笔记，这是第五节，介绍了为什么是Deep Learning，以及介绍了反向传播算法。 文章目录1. Why Deep Learning2. BackPropagation 1. Why Deep Learning 深度学习就是在4中提到的鱼和熊掌可兼得的一种方法。首先回顾一下network的构成。 从下面的实验中，可以看出Thin+Tall的神经网络表现的要更好一些。所以，虽然一层神经网络只要足够宽就可以表示任何函数，但是对比相同参数量的deep structure效果要差很多。
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network...
李宏毅机器学习2021HW3食物数据集
07-06
1、本资源为台大李宏毅深度学习课程作业数据集。 2、训练集内含课程所需数据集 3、提供下载便利
李宏毅机器学习HW5.zip
最新发布
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
Deep learning Course 李宏毅
02-27
台湾大学李宏毅 深度学习入门教程，深入浅出解析深度学习。
李宏毅机器学习作业
01-18
李宏毅机器学习作业，文档文件，笔记全面，总结充分，仅供学习
李宏毅 机器学习 课程作业代码
08-17
李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码李宏毅 机器学习 课程作业代码
WDK李宏毅学习笔记第二周02_Why Deep Learning
sunningzhzh的博客
04-21 157
Why Deep Learning？ 当使用参数相等时，构建多层Neurals比一层Neural准确率更高，如下图： 因为Deep -> Modularization，在training data时，Deep Learning会自动构建模组化的函数。 模组化函数是会在Training data时机器自己构建，不需要人为去设计，这很大的提高了效率。 在做复杂的数据转换时，模组化函数效果显著，例如:从下面第一组图片上看，两者很像，但是实际却完全不一样，第二组图片，看起来不一样，实际上一样，要让机器知道
机器学习-12-Why Deep?(为什么要做“深度”学习)
迷雾总会解
12-07 576
Why Deep? 本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别： shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测 deep：考虑了input之间的某些共同特征，所有class用同个model分类，share参数，modularization思想，hierarchy架构，更有效率地使用data和参数 Shallow V.s. Deep Deep is Better？ 我们都知道dee
第十节 Why DeepLearning？
Reast1nPeace的博客
06-25 134
深度学习（Deep Learning） 6.why deep?
n不正
04-15 1197
深度学习（Deep Learning） 6.why deep?1 fat+short or thin + tall? 并不是参数越多表现越好 modularization：模块化，（自动学习） Deep →\rightarrow modularization：每个模块只关注一小部分任务 machine learning是因为没有足够的data，所以需要学习。？ 2 Speech phoneme：人类
李宏毅机器学习课程11~~~为何要"深"？
jiandanjinxin的专栏
09-12 796
为何要“深”？ pluskid的博客 Deep Learning and Shallow LearningBengio Y. Learning deep architectures for AI. Foundations and trends® in Machine Learning, 2009Deeper is Better?模型有更多的参数会有更好的结果，这是毋庸置疑的。深瘦的模型会比浅胖的模
2021李宏毅机器学习笔记--15 Pointer Network
guoxinxin0605的博客
07-17 228
2021李宏毅机器学习笔记--15 Pointer Network摘要一、Pointer Network二、Applications-Summarization(应用：文章内容总结)2.1 应用背景2.2 模型结构三、Applications-Machine Translation(应用：机器翻译)四、Applications-Chat-bot(应用：对话)总结 摘要 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的，例如翻译时 Decoder 预测的目标数量等于字典的大小。这导致 S
李宏毅机器学习笔记logic regression
09-22
Logic Regression是一种用于分类问题的机器学习算法。它使用一条直线作为边界来区分两个类别。然而，如果数据不能被一条直线分割，Logic Regression就无法处理。为了解决这个问题，我们可以对基向量进行变形，从而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值