梯度下降法

最新推荐文章于 2023-09-17 16:24:02 发布

钟良建呀

最新推荐文章于 2023-09-17 16:24:02 发布

阅读量181

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_42518228/article/details/107078144

版权

1.原理

方向导数
如果函数 $z = f (x, y)$ 在点 $P (x, y)$ 处可微，则函数在该点任一方向 $L$ 的方向导数都存在，且有 $\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x } \cos{\alpha}+\frac{\partial f}{\partial y}\cos{\beta}$ $\alpha、\beta:为方向L的方向角$ 方向导数表征了函数沿任意方向的变化的速度
梯度
设函数 $z = f (x, y)$ 在平面区域 $D$ 内具有一阶连续偏导数，则对于每一个点 $\in D$ ，向量 $\left ( \frac{\partial f}{\partial x},\frac{\partial f}{\partial y} \right )$ 为函数 $z = f (x, y)$ 在点 $P$ 处的梯度，记为grad $f (x, y)$
某点的梯度是某点方向导数的最大值，因此梯度代表的方向是函数增长最快的方向，而沿负梯度方向为函数下降最快的方向。