人工智能-损失函数-优化算法：梯度下降法的背后原理【一阶泰勒展开】

一、梯度下降法

梯度下降算法的思想，它将按如下操作达到最低点：

1. 明确自己现在所处的位置。
2. 找到相对于该位置而言下降最快的方向。
3. 沿着第二步找到的方向走一小步，到达一个新的位置，此时的位置肯定比原来低。
4. 回到第一步。
5. 终止于最低点。

从数学角度来看，多元函数的梯度方向是函数增长最快的方向，那么梯度的反方向就是函数减少最快的方向。

以二元函数为例：

z = f ( x , y ) z = f(x,y)