李宏毅《机器学习》任务五

Task05开始啦：
Task05：观看 2021版视频 视频 P5-9：网络设计的技巧（2天）截止时间 07月22日03:00
开源文档：https://datawhalechina.github.io/leeml-notes
视频地址：https://www.bilibili.com/video/BV11K4y1S7AD?p=5

（一）局部最小值与鞍点

gradient为零的点统称为critical point
局部最小值：local minima
鞍点：saddle point
loss没办法在下降也许是因为卡在了critical point

为什么要分辨？

如果是local minima 那可能就没有路可以走了，如果是saddle point 还是有路可以走的，使loss更低。

如何分辨到底是卡在local minima 还是 saddle point？

L (θ) loss function 在 θ‘ 附近的泰勒展开式，

其中 gradient是一个向量，弥补 θ‘ 和θ‘ 之间的差距；

hessian是一个矩阵，会补足加上gradient后与真正的L (θ) 之间的差距。

判断标准：
为了方便，将(θ - θ’)设为 v
只需要看H的 eigenvalue(特征值)的正负即可。

H的特征值全为正的时候 ，我们认为是 local minima
H的特征值全为负的时候 ，我们认为是 local maxima
H的特征值有正有负时候 ，我们认为是 saddle point

找出负的特征值（saddle point 特征值有正有负）顺着 u 的方向更新，就可以让loss变小。
此处推荐笔记
李宏毅2021春机器学习笔记 --7.类神经网络训练不起来怎么办（一）局部最小值与鞍点

（二）批次与批量

批次：batch

动量：momentum

两个有可能可以对抗 saddle point 或local minima 的技术。

Batch
拿一个batch的资料拿出来算loss，所有的batch 看过一遍叫一个epoch

shuffle（洗牌） 有很多不同的做法，常见的做法是在每一次epoch开始之前会分一次batch，每一个epoch的batch都不一样。

此处推荐笔记
李宏毅2021春机器学习笔记 --8.类神经网络训练不起来怎么办（二）批次与动量

（三）自动调整学习率

此处推荐笔记
李宏毅2021春机器学习笔记 --9.类神经网络训练不起来怎么办（三）自动调整学习率

（四）分类

（五）批次标准化

此处推荐笔记
李宏毅2021春机器学习笔记 --11.类神经网络训练不起来怎么办(五)批次标准化（Batch Normalization）