程序员的数学--多元函数微分学

1 、多元函数定义

设 D 为一个非空的 n 元有序数组的集合，

为某一确定的对应规则，也称为函数关系。

如果对于每一个有序数组，通过对应规则

都有唯一确定的实数 与之

对应，则称对

应规则

为定义在 D 上的 n 元函数。记为：

。变量

称为自变量； y 称

为因变量。

当 n=1 时，为一元函数，记为

；

当 n=2 时，为二元函数，记为

，如图所示：

随着自变量的数量不断的变化，使得所产生的函数的元的个数也会发生改变

所产生的维度也会做出相应的改变

偏导数，可以看作是导数的推广，对于多元函数来说，我们把其它的自变量固定不动，看成是 常量 ，我

们对其中的某一个变量求导数的话，那就是偏导数了，只对一个变量求导数！

偏导数总结来说就是对于所指定的变量进行求导

高阶偏导数

有高阶导数，同样也有高阶偏导数，它的情况比高阶导数要复杂一些，因为它的求导变量有多个，

所应用的方法是和偏导数的求解方法是相似的

机器学习中的梯度下降法，和牛顿法很多地方都会用到 梯度 这个概念。

梯度可以看成一元函数的导数，对于多元函数来说就是偏导数而已。

对于多元函数如果它的自变量有 N 个：

。它的梯度是个向量，是由对

变量

求偏导数构成的这样一个向量，称之为梯度。梯度我们用 倒三角 这个符号来表示，对

求梯度得到

上面所示的

向量

这个可能很多同学学高等数学的时候可能没有学过，但是这个也比较好理解，就是由一阶偏导数构成的

矩阵，发明它的目的主要是为了简化求导公式，对多元的复合函数求导，如果我们用雅可比矩阵来计算

的话，它会写起来非常简洁，这在我们的人工神经网络反向推导的过程中往往会看到的。

，其中 是 n 维向量表示有 n 个未知数即 n 个自变量， 是 k 维的向量表示函数对应关系计

算返回 k 个因变量。

，其中每个 和每个 都是相关的，也就是每个 是单独从 映射过来的函数。

函数

的雅可比矩阵就是每个 分别对每个 求偏导，然后构成的矩阵叫做雅可比矩阵：

极值判定条件

对于一元函数，我们前面讲过，

的一阶导数等于 0 处有极值，当

的二阶导数大于 0 时是 极

小值 ，当

的二阶导数小于 0 时是 极大值 ，可以参考

的平方这个函数，其二阶导数是

，那么该函数是凸函数。

多元函数的极值判别法则，首先

的一阶导数等于 0 ，这点是 驻点 ，那它就可能是 极值点 ，它是极

大值还是极小值或者不是极值怎么判定的？

看 Hessian 矩阵，在

的一阶导数等于 0 处，就是驻点处。

如果 Hessian 矩阵是 正定 的话，函数在该点有 极小值 ；

如果 Hessian 矩阵是 负定 的话，函数在该点有 极大值 ；

如果 Hessian 矩阵不定，函数在该点不是极值；

这个是比较好去理解的

对于极值的判断，对于我们最好的办法就是进行求导

但是这样不太容易判断，我们还可以根据 特征值 正负去判断矩阵正定与否：

矩阵 A 的特征值全部大于 0 ，那么矩阵 A 为正定矩阵；

矩阵 A 的特征值全部小于 0 ，那么矩阵 A 为负定矩阵；