![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李宏毅苹果书(进阶)
文章平均质量分 94
在初步接触机器学习后,开始学习深度学习的相关知识
MrBlackmzq
这个作者很懒,什么都没留下…
展开
-
Datawhale X 李宏毅苹果书(进阶) AI夏令营 task03笔记
目前已经讲了两个简化的方法,我们来总结下。如图 4.17 所示,全连接网络是弹性最大的。全连接层(fully-connected layer)可以自己决定看整张图像还是一个小范围。但加上感受野的概念以后,只能看一个小范围,网络的弹性变小。参数共享又进一步限制了网络的弹性。本来在学习的时候,每个神经元可以各自有不同的参数,它们可以学出相同的参数,也可以有不一样的参数。但是加入参数共享以后,某一些神经元无论如何参数都要一模一样的,这又增加了对神经元的限制。而。原创 2024-09-02 22:17:33 · 683 阅读 · 0 评论 -
Datawhale X 李宏毅苹果书(进阶) AI夏令营 task02笔记
所以我们从最原始的梯度下降,进化到这一个版本,如式所示:其中是动量。这个版本里面有动量,其不是顺着某个时刻算出的梯度方向来更新参数,而是把过去所有算出梯度的方向做一个加权总和当作更新的方向。接下来的步伐大小为/σit。最后通过 ηt来实现学习率调度。这个是目前优化的完整的版本,这种优化器除了 Adam 以外,还有各种变形。但其实各种变形是使用不同的方式来计算或 σit,或者是使用不同的学习率调度的方式。Q:动量。原创 2024-08-30 22:13:29 · 1115 阅读 · 0 评论 -
Datawhale X 李宏毅苹果书(进阶) AI夏令营 task01笔记
官方学习文档:https://linklearner.com/activity/16/14/42目录深度学习基础局部极小值与鞍点临界点及其种类判断临界值种类的方法逃离鞍点的方法批量和动量批量大小对梯度下降法的影响大的批量跟小的批量的对比动量法深度学习基础要想更好地优化神经网络,首先,要理解为什么优化会失败,收敛在局部极限值与鞍点会导致优化失败。其次,可以对学习率进行调整,使用自适应学习率和学习率调度。最后,批量归一化可以原创 2024-08-27 17:17:25 · 943 阅读 · 0 评论