泰勒级数展开

1. 泰勒级数展开

实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。

1.1 （一阶）偏导数的概念

以二元函数为例：
设有二元函数$z=f(x,y)$，若存在
$$\frac{d}{dx}f(x,y_0){|}_{x=x_0}$$
则，称之为$z=f(x,y)$在点$(x_0,y_0)$处对$x$的偏导数（值）。
记为：
$f_x^{\prime }(x_0,y_0)$ ，$\frac{\partial f(x_0,y_0)}{\partial x}$或 $\frac{\partial f}{\partial x}{|}_{(x_0,y_0)}$

【注】：可以看出偏导数的本质是 一元函数的导数

若$z=f(x,y)$在区域$D$的每一个点$(x,y)$处都有偏导数（值），一般来说，它们仍是$x,y$的函数，称为$f(x,y)$的偏导（函）数，简称偏导数，
记为：
$f_x^{\prime }(x,y)$ 或 $\frac{\partial f}{\partial x}$

---

1.2 二阶偏导数与混合偏导数的概念

若函数$z=f(x,y)$的一阶偏导（函）数$\frac{\partial f}{\partial x}=f_x^{\prime },\frac{\partial f}{\partial y}=f_y^{\prime }$关于$x$和$y$的偏导数仍然存在，
则，称一阶偏导数的偏导数是$z=f(x,y)$的二阶偏导数。
二元函数$z=f(x,y)$有四个二阶偏导数：
$f_{xx}^{\prime }(x,y)$， $f_{xy}^{\prime }(x,y)$ ，$f_{yx}^{\prime }(x,y)$ ，$f_{yy}^{\prime }(x,y)$
类似地可以定义三阶、四阶、n阶偏导数。
其中，对不同自变量求导的高阶偏导数称为混合偏导数。 如$f_{xy}^{\prime }(x,y)$ ，$f_{yx}^{\prime }(x,y)$

---

1.3 函数的泰勒级数展开

• 一元函数$f(x)$在点$x_k$处的泰勒展开式为：
  $$f(x)=f(x_k)+(x-x_k)f^{\prime }(x_k)+\frac{1}{2!}(x-x_k{)}^2{f}^{\prime \prime }(x_k)+\cdots +\frac{1}{n!}(x-x_k{)}^n{f}^n(x_k)+o(n)$$

• 二元函数$f(x,y)$在点$(x_k,y_k)$处的泰勒展开式为：

$$\begin{gathered} f(x,y)=f(x_k,y_k)+(x-x_k)f_x^{\prime }(x_k,y_k)+(y-y_k)f_y^{\prime }(x_k,y_k)+ \\ \frac{1}{2!}(x-x_k{)}^2{f}_{xx}^{\prime \prime }(x_k,y_k)+\frac{1}{2!}(x-x_k)(y-y_k)f_{xy}^{\prime \prime }(x_k,y_k)+ \\ \frac{1}{2!}(y-y_k)(x-x_k)f_{yx}^{\prime \prime }(x_k,y_k)+\frac{1}{2!}(y-y_k{)}^2{f}_{yy}^{\prime \prime }(x_k,y_k)+ \\ \cdots +o(n) \end{gathered}$$

• n元函数$f(x^1,x^2,\cdots ,x^n)$在点$(x_k^1,x_k^2,\cdots ,x_k^n)$处的泰勒展开为：
  $$\begin{gathered} f(x^1,x^2,\cdots ,x^n)=f(x_k^1,x_k^2,\cdots ,x_k^n)+ \\ \sum _{i=1}^n(x^i-x_k^i)f_{x^i}^{\prime }(x_k^1,x_k^2,\cdots ,x_k^n)+ \\ \frac{1}{2!}\sum _{i,j=1}^n(x^i-x_k^i)(x^j-x_k^j)f_{x^i{x}^j}^{\prime }(x_k^1,x_k^2,\cdots ,x_k^n)+ \\ \cdots +o(n) \end{gathered}$$
  
  该式可以表示为矩阵形式，如下：
  

---

2. 矩阵形式的泰勒级数展开式

记$X=[x^1,x^2,\cdots ,x^n{]}^T$，$X_k=[x_k^1,x_k^2,\cdots ,x_k^n{]}^T$
则，n元函数$f(X)$在点$X_k$处的泰勒展开为：
$$\begin{gathered} f(X)=f(X_k)+[\nabla f(X_k){]}^T(X-X_k)+ \\ \frac{1}{2!}(X-X_k{)}^{T}H(X_k)(X-X_k)+o(n) \end{gathered}$$

其中，$\nabla f(X_k)=[\frac{\partial f(X_k)}{\partial x^1},\frac{\partial f(X_k)}{\partial x^2},\cdots ,\frac{\partial f(X_k)}{\partial x^n}{]}^T$
称为n元函数$f(X)$在点$X_k$处的梯度（向量）；
$$H(X_k)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f(X_k)}{\partial x^1\partial x^1}& \frac{{\partial }^{2}f(X_k)}{\partial x^1\partial x^2}& \cdots & \frac{{\partial }^{2}f(X_k)}{\partial x^1\partial x^3}\\ \frac{{\partial }^{2}f(X_k)}{\partial x^2\partial x^1}& \frac{{\partial }^{2}f(X_k)}{\partial x^2\partial x^2}& \cdots & \frac{{\partial }^{2}f(X_k)}{\partial x^2\partial x^3}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(X_k)}{\partial x^n\partial x^1}& \frac{{\partial }^{2}f(X_k)}{\partial x^n\partial x^2}& \cdots & \frac{{\partial }^{2}f(X_k)}{\partial x^n\partial x^1}\end{array}\right]$$

---

2.1 雅各比矩阵

2.2 海森矩阵

2.3 变量为向量的泰勒级数展开