本文探讨了梯度寻优的基本原理，分析了沿着函数梯度方向移动时函数值的变化趋势。对于梯度下降，当梯度为负时，函数值减少；为零时，达到局部极小值；为正时，函数值增加。在寻找函数极小值时，应向梯度的反方向更新参数，并通过学习率α控制步长以平衡收敛速度和稳定性。
问题：为什么沿着函数梯度的方向蹦，函数值一定会往增大的方向走或者走向收敛？
假设
设函数为 f ( x ) f(x) f(x)， f ( x ) f(x) f(x)的梯度为 f ′ ( x ) f^{'}(x) f′(x)，函数上有一点为 x 0 x_0 x0，相应的函数值和梯度值为 f ( x 0 ) 、 f ′ ( x 0 ) f(x_0)、f^{'}(x_0) f(x0)、f′(x0)。
分类讨论
f ′ ( x ) f^{'}(x) f′(x)无非三种状态：负数、0、正数。
- 当 f ′ ( x 0 ) < 0 f^{'}(x_0)<0 f′(x
最低0.47元/天 解锁文章
扫一扫
2578
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
