李宏毅机器学习
文章平均质量分 81
MilkLeong
这个作者很懒,什么都没留下…
展开
-
【李宏毅机器学习·学习笔记】Tips for Training: Adaptive Learning Rate
本节课主要介绍了Adaptive Learning Rate的基本思想和方法。通过使用Adaptive Learning Rate的策略,在训练深度神经网络时程序能实现在不同参数、不同iteration中,学习率不同。 本节课涉及到的**算法或策略**有:Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up。原创 2023-08-05 16:39:07 · 389 阅读 · 0 评论 -
【李宏毅机器学习·学习笔记】Tips for Training: Batch and Momentum
本节课主要介绍了Batch和Momentum这两个在训练神经网络时用到的小技巧。合理使用batch,可加速模型训练的时间,并使模型在训练集或测试集上有更好的表现。而合理使用momentum,则可有效对抗critical point。原创 2023-08-04 15:32:52 · 442 阅读 · 0 评论 -
【李宏毅机器学习·学习笔记】when gradient is small-Critical Point (local extramum/ critical point)
本节课主要内容是介绍optimization失败后,如何对失败原因进行判定。当optimization不再起作用,参数对loss的微分趋近于0,gradient为0无法再update参数,而loss还很大,此时是卡在了local minima/local maxima,还是卡在了saddle point?课程引入了critical point的概念,并用Tayler Series Approximation来判定是卡在局部极值点还是saddle point。最后对局部极值点出现的概率进行了分析。原创 2023-08-04 00:29:06 · 85 阅读 · 0 评论 -
【李宏毅机器学习·学习笔记】Deep Learning General Guidance
本节课可视为机器学习系列课程的一个前期攻略,这节课主要对Machine Learning 的框架进行了简单的介绍;并以training data上的loss大小为切入点,介绍了几种常见的在模型训练的过程中容易出现的情况(model bias, optimization, overfitting, mismatch)。原创 2023-07-29 15:28:57 · 718 阅读 · 0 评论