多元函数的二阶泰勒展开推导

最新推荐文章于 2024-08-15 10:37:17 发布

S_o_l_o_n

最新推荐文章于 2024-08-15 10:37:17 发布

阅读量4.6k

点赞数 4

分类专栏：机器学习数学文章标签：人工智能数据分析

本文链接：https://blog.csdn.net/S_o_l_o_n/article/details/127821931

版权

机器学习同时被 2 个专栏收录

18 篇文章 3 订阅

订阅专栏

数学

10 篇文章 1 订阅

订阅专栏

本文探讨了多元函数的重合条件，即函数在某点处所有阶任意重导数相等的重要性，并详细推导了二阶展开的形式，涉及一阶偏导相等及二阶梯度一致性。通过类比一元函数的运动学概念，解释了高阶导数在确定函数行为中的作用。同时，文章强调了海森矩阵在极值点判断中的应用。

摘要由CSDN通过智能技术生成

两个函数源自同一点，只要在这一点处，外延的所有变化都一致，那么这两个函数就是重合的。如何刻画这种外延的变化?

多元函数受多个变量的影响，变量的变化造成函数值的变化，因此，只要变量的变化对函数值的影响一致，那么两个源自同一点的函数就完全一样。变量的变化对函数值的影响，是多重多阶的，因此，要使得两个函数一致，就要保证这种影响在任何阶任意维度都是一致的。基于此，两个源自某处的任意阶可导函数，只要在此处的任意变量任意阶任意重导数相等，那么两个函数就完全重合。这种思想对于一元函数，自然可以得到泰勒在此处展开的多项式形式。本文将讲解一下如何推导得到多元函数的二阶展开。

不失一般性，这里假设多元函数为二元函数 $f=F(x,y)$ ，计算在点 $(a,b)$ 处的展开。基于上述思想，展开的近似函数，都重合于展开点 $(a,b)$ ，一阶偏导必须相等，故一阶展开可以得到如下形式：

$F(x,y)=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+o(\Delta )$

上述形式的一阶偏导等号两边显然是相等的，下面继续推导二阶展开。

对于二阶展开的推导，最关键的是要明确以下四个项相等：

$F_{xx},F_{yy},F_{xy},F_{yx}$

很多人可能会忽略掉 $F_{xy},F_{yx}$ 。这里为什么同时要考虑这两项，是因为变量x,y的变化，在二阶的角度，同时也会影响到一阶的 $F_{x},F_{y}$ ，因此如果忽略上述两项，没有保证这两项相等，那么随着领域变大，累计的变化会使得 $F_{x},F_{y}$ 发生偏离，不再相等，从而函数值也会随之发生偏离，不再相等。所以，这里在对下一阶进行展开的时候，要考虑的是变量变化对当前阶所有因子的影响要相等。

从一元函数的角度，如果将函数图像理解成时间位移区间，那么两个函数曲线一致，意味着某一点开始，其速度要相等、速度的变化程度（加速度）要相等、加速度的变化程度（加速度的加速度）要相等...，这样就意味着两种位移是完全一致的，而这实际上就对应着各阶导数。同样的，对于多元函数，各个变量的一阶偏导相等、各个变量的一阶偏导随着变量变化的程度（一阶偏导的梯度）相等、一阶偏导梯度中各个分量的梯度相等...，以此递归。

因此，对于上述二元函数，在二阶展开时，要让各个变量的一阶偏导的梯度相等，因为 $F_{x}$ 的梯度是 $(F_{xx},F_{xy})$ ， $F_{y}$ 的梯度是 $(F_{yx},F_{yy})$ ，所以得到上述的四项，等号两边需要相等，基于此推导各项系数，得到如下二阶展开：

$F(x,y)=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+\frac{1}{2}F_{xx}(x-a)^{2}+\frac{1}{2}F_{yy}(y-b)^{2}+\frac{1}{2}F_{xy}(x-a)(y-b)+\frac{1}{2}F_{yx}(x-a)(y-b)+o(\Delta ^{2})=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+\frac{1}{2}\begin{pmatrix} x-a\\ y-b \end{pmatrix}\begin{pmatrix} F_{xx} & F_{xy}\\ F_{yx}& F_{yy} \end{pmatrix}\begin{pmatrix} x-a & y-b \end{pmatrix}+o(\Delta ^{2})=F(a,b)+F_{x}(x-a)+F_{y}(y-b)+\frac{1}{2}\begin{pmatrix} x-a\\ y-b \end{pmatrix}H\begin{pmatrix} x-a & y-b \end{pmatrix}+o(\Delta ^{2})$

要强调一下的是，这里各项偏导都是在点（a,b）处的偏导，因此是常数。上述H矩阵实际上就是海森矩阵（Hessian Matrix）。

如果我们想进一步三阶展开，那么就需要考虑 $F_{xx},F_{yy},F_{xy},F_{yx}$ 这四项的梯度，便会在三阶展开中增加8项，以此类推，n阶展开就相比n-1阶多出2^n项。因此，对于多元函数的泰勒展开，是相当复杂的，很多问题一般我们展开到二阶就足够了。

基于此展开，我们看到展开项中有H矩阵。我们一般利用H矩阵的正（负）定性判断极小（大）值点的原有，从这里的展开就很自然了。因为当H为正定时，那么展开处的邻域都是更大的值，反之就是极小值点。如果H为0，那么无法判断，需要更高阶展开进行判断，或者既不是正定也不是负定（鞍点），那么就不是极小值点也不是极大值点。