多元函数泰勒展开与黑塞矩阵

1. 引入：函数展开

• 设函数 $y=f(x)$ 在点 $x_0$ 处可导，则在点 $x_0$ 的某邻域内，可以用下式表示原函数值
  $$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+o(x-x_0),x\to x_0$$
  对于这种一元函数，示意图如下
  
• 上面这个式子，可以看作在点 $x_0$ 处对 $f(x)$ 进行了一步展开，使用线性主部 $f^{\prime }(x_0)(x-x_0)$ 和与展开点 $x_0$ 的偏差 $△x$ 的高阶无穷小表示原函数。
• 函数展开的应用非常广泛，这种方法可以把复杂的原始目标函数近似转换为多项式函数，从而简化问题。使用泰勒展开，只要原函数任意阶可导，就可以将其展开为任意阶的多项式函数，得到更高精度的表示

2. 泰勒展开

2.1 一元函数泰勒展开

• 使用泰勒展开，可以把在 $x_k$ 处 $n$ 阶可导的函数 $f(x)$ 展开为关于 $△x=x-x_k$ 的 $n$ 次多项式，如下
  $$\begin{array}{rl}f(x)& =f(x_k)+(x-x_k)f^{\prime }(x_k)+\frac{1}{2!}(x-x_k{)}^2{f}^{\prime \prime }(x_k)+...\\ & =\sum _{n=0}^{\infty }\frac{f^{(n)}(x_k)}{n!}(x-x_k{)}^n\end{array}$$
• 当 $n$ 有上界时，需要在展开式最后添加 $△x=(x-x_k)$ 的 $n$ 次方的高阶无穷小 $o((x-x_k{)}^n)$ 以补足近似差距，保证等号成立。可见，随着展开阶数提高，展开式精度也在不断提高

2.2 二元函数泰勒展开

• 记 $△x=x-x_k,△y=y-y_k$，设二元函数 $f(x,y)$ 在 $(x_k,y_k)$ 处可导，可以如下展开：
  $$\begin{array}{rl}f(x,y)=f(x_k,y_k)& +[f_x^{\prime }(x_k,y_k)△x+f_y^{\prime }(x_k,y_k)△y]\\ & +\frac{1}{2!}[f_{xx}^{\prime \prime }(x_k,y_k)△x^2+f_{xy}^{\prime \prime }(x_k,y_k)△x△y+f_{yx}^{\prime \prime }(x_k,y_k)△x△y+f_{yy}^{\prime \prime }(x_k,y_k)△y^2]\\ & +...\end{array}$$
  通常写成矩阵形式
  $$\begin{array}{rl}f(x,y)=f(x_k,y_k)& +\left[\begin{array}{cc}{f}_x^{\prime }(x_k,y_k)& f_y^{\prime }(x_k,y_k)\end{array}\right]\left[\begin{array}{c}△x\\ △y\end{array}\right]\\ & +\frac{1}{2!}\left[\begin{array}{cc}△x& △y\end{array}\right]\left[\begin{array}{cc}{f}_{xx}^{\prime \prime }f(x_k,y_k)& f_{xy}^{\prime \prime }f(x_k,y_k)\\ f_{yx}^{\prime \prime }f(x_k,y_k)& f_{yy}^{\prime \prime }f(x_k,y_k)\end{array}\right]\left[\begin{array}{c}△x\\ △y\end{array}\right]\\ & +...\end{array}$$
• 以上展开到2阶，所以至少要求2阶可导，若二阶导数连续（原函数为光滑曲线），则有 $f_{xy}^{\prime \prime }=f_{yx}^{\prime \prime }$，可进一步化简

2.3 n元函数泰勒展开

• 记 $△x^i=x-x_k^i$，设 $x\text{x}x=(x^1,x^2,...,x^n{)}^T$，$n$ 元函数 $f(x\text{x}x)$ 在 ${x\text{x}x}_k=(x_k^1,x_k^2,...,x_k^n{)}^T$ 处可导，可以如下展开：
  $$\begin{array}{rl}f(x\text{x}x)=f({x\text{x}x}_k)& +\sum _{i=1}^n{f}_{x^i}^{\prime }(x\text{x}x)△x^i\\ & +\frac{1}{2!}\sum _{i,j=1}^n{f}_{ij}^{\prime \prime }({x\text{x}x}_k)(x^i-x_k^i)\\ & +...\end{array}$$
  通常写成矩阵形式
  $$\begin{array}{rl}f(x\text{x}x)=f({x\text{x}x}_k)& +\left[\begin{array}{cccc}{f}_{x^1}^{\prime }({x\text{x}x}_k)& f_{x^2}^{\prime }({x\text{x}x}_k)& \dots & f_{x^n}^{\prime }({x\text{x}x}_k)\end{array}\right]\left[\begin{array}{c}△x^1\\ △x^2\\ ⋮\\ △x^n\end{array}\right]\\ & +\frac{1}{2!}\left[\begin{array}{cccc}△x^1& △x^2& \dots & △x^n\end{array}\right]H\text{H}H({x\text{x}x}_k)\left[\begin{array}{c}△x^1\\ △x^2\\ ⋮\\ △x^n\end{array}\right]\\ & +...\end{array}$$
  其中 $\left[\begin{array}{cccc}{f}_{x^1}^{\prime }({x\text{x}x}_k)& f_{x^2}^{\prime }({x\text{x}x}_k)& \dots & f_{x^n}^{\prime }({x\text{x}x}_k)\end{array}\right]$ 就是 $f(x\text{x}x)$ 的梯度，化简符号如下：
  $$\begin{array}{rl}f(x\text{x}x)=f({x\text{x}x}_k)& +[▽f({x\text{x}x}_k){]}^T[x\text{x}x-{x\text{x}x}_k]\\ & +\frac{1}{2!}[x\text{x}x-{x\text{x}x}_k{]}^{T}H({x\text{x}x}_k)[x\text{x}x-{x\text{x}x}_k]\\ & +...\end{array}$$

• 以上展开到2阶，所以至少要求2阶可导，若二阶导数连续（原函数为光滑曲线），则有 $f_{xy}^{\prime \prime }=f_{yx}^{\prime \prime }$，可进一步化简。上式中 $H({x\text{x}x}_k)$ 是黑塞矩阵，当展开到二阶时就会出现

3. 黑塞矩阵（海森矩阵）

• 黑塞矩阵是由某个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率

  黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵

• 在 2.3 节设定下，黑塞矩阵为
  
• 对称性：要求 $f(x\text{x}x)$ 在展开区域内二阶连续可导（二阶偏导数连续，原函数光滑），则原函数的混合偏导数相等，黑塞矩阵成为对称矩阵
• 可以使用黑塞矩阵判断多元函数极值，这个以后的文章再详细分析