李宏毅课程笔记分享
文章平均质量分 80
佐MYH
在校大学生~分享一些自己的笔记和心得
展开
-
李宏毅老师机器学习2020学习笔记与思考(五)New Optimizers for Deep Learning
New Optimizers for Deep LearningSome Notationsθt\theta_{t}θt: 第t步的模型参数∇L(θt)\nabla L(\theta_{t})∇L(θt)或gtg_{t}gt: θt\theta_{t}θt处的梯度,常用来计算θt+1\theta_{t+1}θt+1mt+1m_{t+1}mt+1: 从第0步到第t步的累积momentum,常用来计算θt+1\theta_{t+1}θt+1...原创 2021-01-21 22:28:24 · 226 阅读 · 0 评论 -
李宏毅老师机器学习2020学习笔记与思考(四)Gradient Descent
Gradient DescentReview之前提到过,先假设带求解参数的初始值,然后求梯度,设定learning rate,通过不断更新参数找到最优解。具体来说如下:Tip 1: Tuning your learning rates如上图所示,如果learning rate过小(蓝色),则速度非常慢,并且Loss函数不断在下降;如果learning rate过大(绿色),则容易卡住无法找到最优解,Loss函数也不会降得很低;如果learning rate太大(黄色),则容易直接“飞出”,Los原创 2021-01-15 16:57:10 · 200 阅读 · 0 评论 -
李宏毅老师机器学习2020学习笔记与思考(三)Where error from?
Where does the error come from?Bias and Variance of Estimator原创 2021-01-12 20:29:11 · 127 阅读 · 0 评论 -
李宏毅老师机器学习2020学习笔记与思考(二)Regression
Regression—Predict Combat Power(CP) of pokemon after evolutionStep 1:Find a Model首先需要找到函数模型,假设为y=b+w∗xcpy = b+w*x_{cp}y=b+w∗xcpw和b是不同可以调整的参数,通过调整w和b,可以得到一个无穷的函数集。然后可以进一步延伸得到一个Linear Model:y=b+∑wi∗xiy=b+\sum w_{i}*x_{i}y=b+∑wi∗xi其中,wiw_{i}wi叫做原创 2021-01-11 20:36:37 · 219 阅读 · 0 评论 -
李宏毅老师机器学习2020学习笔记与思考(一)Introduction
机器学习是什么->自动寻找函数首先要知道寻找什么函数(输入与输出)例:Regression(回归)-output of the function is a scalarBinary Classification(二分类)-output Yes or NoMulti-class Classification(多类别分类)-output Class1, Class 2, Class3…Generation(生成)-生成很多复杂的东西,如图片、文字等监督学习、半监督学习、无监督学习与强化学原创 2021-01-08 21:59:11 · 236 阅读 · 2 评论