梯度下降法的数学原理

梯度下降法又称最速下降法，是求解无约束最优化问题的一种最常用的方法，在对损失函数最小化时经常使用。梯度下降法是一种迭代算法。选取适当的初值x⁽⁰⁾，不断迭代，更新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向时使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新x的值，从而达到减少函数值的目的。提到梯度下降法，就不得不提到方向导数与梯度了。

1.方向导数

设函数z=f(x,y)在点p(x,y)的某一邻域U(P)内有定义，自点P引射线l。设x轴正向到射线l的转角为φ，并设P'(x+Δx, y+Δy)为l上的另一个点且P'也在邻域U(P)内。

考虑若