Datawhale X 李宏毅苹果书 AI夏令营 Task1 学习笔记

最新推荐文章于 2024-08-27 23:35:47 发布

Zicc

最新推荐文章于 2024-08-27 23:35:47 发布

阅读量176

点赞数 1

文章标签：人工智能学习笔记

本文链接：https://blog.csdn.net/weixin_39574797/article/details/141572136

版权

问题引出：在用深层网络做优化的时候，随着参数的不断更新，对应的损失却不再下降，但是并没有到达一个理想的最低值，这样的优化是存在问题的，也就是陷入局部最优了

我们一般说优化到某个地方的时候，这个地方的参数对损失的微分为0，当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。

临界点通常指的就是梯度为0的点

3种临界点：

局部极小值点（local minimum）和 局部极大值点（localmaximum）比较比较好理解；还有一种临界点叫做鞍点（saddle point）即梯度是零且区别于局部极小值和局部极大值。

判断临界值点种类的方法

判断一个临界点到底是局部极小值还是鞍点需要知道损失函数的形状，但实际没办法得到一个损失函数的完整形状。

但是如果给定某一组参数，比如 θ′，在 θ′ 附近的损失函数是有办法写出来的

这个公式跟梯度和海森矩阵有关

在临界点，梯度 g 为零，即为零，那我们可以根据公式第三部分来判断临界点是哪种类型：

$\left(\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right)^{\mathrm{T}} \boldsymbol{H}\left(\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right)>0$ 局部极小值
$\left(\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right)^{\mathrm{T}} \boldsymbol{H}\left(\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right)<0$ 局部极大值
如果 $\left(\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right)^{\mathrm{T}} \boldsymbol{H}\left(\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right)$ 有时候大于零，有时候小于零，就是鞍点

关注