【机器学习微积分】08 多元函数的极值（上）：梯度法基础

目录

1.梯度概念回顾

2.类比盲人下山的例子

3.梯度下降法的算法思路

4.梯度下降法的代码实现

5.关于算法的补充讨论

---

从这一讲开始，我们来讨论如何利用迭代法去寻找多元函数的极值点，我们首先从最基础的梯度下降法入手。梯度下降法的思路非常清晰明了，且实现过程也比较简单，是求解无约束最优化问题中的一种最常用、最基础的迭代方法。

1.梯度概念回顾

在梯度下降法当中，顾名思义，梯度是其中最为重要的核心工具和武器。因此，我们有必要回顾一下关于梯度的一些重要概念和特性：

首先，多元函数 f ( x 1 , x 2 , . . . , x n ) f(x_1,x_2,...,x_n) f(x1​,x2​,...,xn​)在点 p 0 p_0 p0​处的梯度 ∇ f \nabla f ∇f是一个 n n n维向量： [ ∂ f ∂ x 1 ∂ f ∂ x 2 ∂ f ∂ x 3 . . . ∂ f ∂ x n ] T \begin{bmatrix} \frac{\partial f}{\partial x_1}&\frac{\partial f}{\partial x_2}&\frac{\partial f}{\partial x_3}&...&\frac{\partial f}{\partial x_n} \end{bmatrix}^T [∂x1​∂f​​∂x2​∂f​​∂x3​∂f​​...​∂xn​∂f​​]T；

其次，多元函数 f f f在点 p 0 p_0 p0​处的梯度向量与该函数过点 p 0 p_0 p0​处的等位线的切线向量相互正交；

最重要的是，沿着梯度 ∇ f \nabla f ∇f向量方向，函数 f f f的值的增长速度最快，相对应的，沿着负梯度，也就是 − ∇ f -\nabla f −∇f向量的方向&#x