【机器学习微积分】08 多元函数的极值（上）：梯度法基础

从这一讲开始，我们来讨论如何利用迭代法去寻找多元函数的极值点，我们首先从最基础的梯度下降法入手。梯度下降法的思路非常清晰明了，且实现过程也比较简单，是求解无约束最优化问题中的一种最常用、最基础的迭代方法。

1.梯度概念回顾

在梯度下降法当中，顾名思义，梯度是其中最为重要的核心工具和武器。因此，我们有必要回顾一下关于梯度的一些重要概念和特性：

首先，多元函数 f ( x 1 , x 2 , . . . ,