【机器学习微积分】10 多元函数的极值（下）：牛顿法与向量微分

这一讲里，我们进入到多元函数求极值的最后一部分，即牛顿法的内容中。

在前面的两讲内容里，我们所介绍的梯度下降法和最速下降法都只用到了目标函数的一阶导数（也就是梯度）来确定每一次迭代的搜索方向，因此也可以被称作为是一阶方法。

而另一种算法的优化思路是这样的，在迭代方法中引入高阶导数，其迭代效率可能会优于最速下降法，而牛顿法就是其中的典型代表，他的核心是同时使用一阶导（梯度）和二阶导（黑塞矩阵）来确定搜索方向，效率上要优于一阶的方法。

1.向量微分基础

1.1.函数的分类

在介绍牛顿法的具体算法之前，我们先来介绍一下向量微分的基础知识，这些内容在算法的实现中将会用到。

其实从多元函数的内容开始，我们对于函数的认识就应该深了一层，这里我们趁此机会把函数的种类全部梳理一遍。

我们看看三种函数，标量函数、向量函数和矩阵函数：

对于标量函数$f$