本文详细介绍了梯度的定义，解释了梯度下降法如何寻找函数的极小值，给出了梯度下降的更新公式，并探讨了步长对收敛性的影响。最后，阐述了为何沿着负梯度方向是目标函数下降最快的原因。
梯度下降法
梯度的定义
如果 w = w ( x , y , z ) , x = x ( t ) , y = y ( t ) , z = z ( t ) ， w = w(x, y, z), x = x(t), y = y(t), z = z(t)， w=w(x,y,z),x=x(t),y=y(t),z=z(t)，根据链式法则：
如果设 ▽ w ▽w ▽w 是一个综合了 w w w所有偏导数的向量， d r / d t dr/dt dr/dt是 w w w变化速率的向量（速度向量），即：
这样原式就可以简写为▽w和dr/dt的点积：
▽ w ▽w ▽w就是梯度向量，简称梯度。对于函数 w w w定义域上的任意 x , y , z x, y, z x,y,z，都可以得到一个对应的梯度向量，所以也说 ▽ w ▽w ▽w是 w w w在某一点 ( x , y , x ) (x, y, x) (x,y,x)上的梯度。由定义可以看到，梯度包含了偏导和导数的信息。
梯度下降法
假设有函数
f ( x , y ) =
最低0.47元/天 解锁文章
扫一扫
1259
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
