深度学习
文章平均质量分 94
uncle_q_
这个作者很懒,什么都没留下…
展开
-
深度学习21_李宏毅_08_CNN
CNN 我们开始探讨 Network 的架构设计,第一个Network 架构的变形是 Convolutional 的 Neural Network,它的缩写是 CNN,它是专门被用在影像上的,我希望透过 CNN 这个例子,来让大家知道Network 的架构,它的设计有什麼样的想法,那為什麼设计 Network 的架构,可以让我们的 Network 结果做得更好。 Image Classification 接下来要讲的例子是跟影像有关的,我们要做影像的分类,也就是给机器一张图片,它要去决定说这张图片裡面有什麼原创 2021-04-01 22:04:47 · 346 阅读 · 0 评论 -
深度学习21_李宏毅_07_Classification
Classification To learn more 接下来讲有关分类怎麼做这件事情,这边讲的是一个短的版本,因為时间有限的关係,如果你想要看长的版本的话,可以看一下过去上课的录影 过去可能是花两个小时,到三个小时的时间才讲完,分类这件事情,我们这边用一个最快的方法,直接跟你讲分类是怎麼做的 Classification as Regression? 分类是怎麼做的呢 我们已经讲了,Regression就是输入一个向量,然后输出一个数值,我们希望输出的数值跟某一个label,也就是我们要学习的目标,越原创 2021-04-01 22:03:40 · 269 阅读 · 0 评论 -
深度学习21_李宏毅_05_Batch and Momentum
Batch and Momentum Review: Optimization with Batch 上次我们有讲说,我们实际上在算微分的时候,并不是真的对所有 Data 算出来的 L 作微分,你是把所有的 Data 分成一个一个的 Batch,有的人是叫Mini Batch ,那我这边叫做 Batch,其实指的是一样的东西,助教投影片裡面,是写 Mini Batch 每一个 Batch 的大小呢,就是大 B 一笔的资料,我们每次在 Update 参数的时候,我们是拿大 B 一笔资料出来,算个 L原创 2021-04-01 21:58:38 · 236 阅读 · 0 评论 -
深度学习21_李宏毅_06_Adaptive Learning Rate
Tips for training: Adaptive Learning Rate critical point其实不一定是,你在训练一个Network的时候,会遇到的最大的障碍,今天要告诉大家的是一个叫做Adaptive Learning Rate的技术,我们要给每一个参数不同的learning rate Training stuck ≠ Small Gradient People believe training stuck because the parameters are around a cri原创 2021-04-01 21:55:24 · 293 阅读 · 0 评论 -
深度学习21_李宏毅_04_Local Minimum And Saddle Point
When gradient is small Critical Point Training Fails because 现在我们要讲的是Optimization的部分,所以我们要讲的东西基本上跟Overfitting没有什麼太大的关联,我们只讨论Optimization的时候,怎麼把gradient descent做得更好,那為什麼Optimization会失败呢? 你常常在做Optimization的时候,你会发现,随著你的参数不断的update,你的training的loss不会再下降,但是原创 2021-04-01 21:52:07 · 844 阅读 · 0 评论 -
深度学习21_李宏毅_03_General Guidance
General Guidance : overfit Framework of ML 我们已经看了作业一了,其实之后好几个作业,它看起来的样子,基本上都是大同小异 就是你会有一堆训练的资料,这些训练集裡面,会包含了xxx跟yyy的hat,x¹x¹x¹ 和跟它对应的y^¹ŷ¹y^¹,x²x²x² 跟它对应的y^²ŷ²y^²,一直到xⁿxⁿxⁿ 还有它对应的y^ⁿŷⁿy^ⁿ 测试集,测试集就是你只有x没有y,其实在之后每一个作业,看起来都是非常类似的格式 作业二,其实是做语音辨识,我们的原创 2021-04-01 21:49:28 · 287 阅读 · 0 评论 -
深度学习21_李宏毅_02_Regression_P2
Regression P2 Piecewise Linear Curves Linear 的 Model,也许太过简单了,我们可以想像说 x1 跟 y,也许它中间有比较复杂的关係,对 Linear 的 Model 来说,x1 跟 y 的关係就是一条直线,随著 x1 越来越高,y 就应该越来越大,你可以设定不同的 w,改变这条线的斜率,你可以设定不同的 b,改变这一条蓝色的直线,跟 y 轴的交叉点,但是无论你怎麼改 w 跟 b,它永远都是一条直线,永远都是 x1 越大,y 就越大,前一天观看的人数越多,隔原创 2021-04-01 21:47:54 · 264 阅读 · 0 评论 -
深度学习21_李宏毅_01_Regression_P1
Regression Machine Learning 第一堂课 是要简单跟大家介绍一下machine learning还有deep learning的基本概念,等一下会讲一个跟宝可梦完全没有关係的故事。想必大家在报章杂志上其实往往都已经听过机器学习这一个词汇,那你可能也知道说机器学习就是跟今天很热门的AI好像有那么一点关联。 那所谓的机器学习到底是什么呢?顾名思义,机器他具备有学习的能力,那些科普文章往往把机器学习这个东西吹得玄之又玄好像机器会学习以后,我们就有了人工智慧,有了人工智慧以后机器接下原创 2021-04-01 21:44:16 · 1530 阅读 · 0 评论