泰勒展开与黑塞矩阵(Hessian Matrix)

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。
在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数。

二元函数的黑塞矩阵

根据高等数学知识，若一元函数 $f(x)$ 在 $x=x^{(0)}$ 点某个领域内具有任意阶导数，则 $f(x)$ 在 $x^{(0)}$处的泰勒展开式为
$$f(x)=f(x^{(0)})+f^{\prime }(x^{(0)})\Delta x+\frac{1}{2}{f}^{\prime \prime }(x^{(0)})(\Delta x{)}^2+...$$
其中 $\Delta x=x-x^{(0)},\Delta x^2=(x-x^{(0)}{)}^2$
对于二元函数 $f(x_1,x_2)$ 在$X^{(0)}(x_1^{(0)},x_2^{(0)})$ 点处的泰勒展开式为：
$$f(x_1,x_2)=f(x_1^{(0)},x_2^{(0)})+\frac{\partial f}{\partial x_1}{|}_{X^{(0)}}\Delta x_1+\frac{\partial f}{\partial x_2}{|}_{X^{(0)}}\Delta x_2+\frac{1}{2}[\frac{{\partial }^{2}f}{\partial x_1^2}{|}_{X^{(0)}}\Delta x_1^2+2\frac{{\partial }^{2}f}{\partial x_1\partial x_2}{|}_{X^{(0)}}\Delta x_1\Delta x_2+\frac{{\partial }^{2}f}{\partial x_2^2}{|}_{X^{(0)}}\Delta x_2^2]+...$$
其中$\Delta x_1=x_1-x_1^{(0)},\Delta x_2=x_2-x_2^{(0)}$
将上述展开式写成矩阵形式，则有：
$$f(X)=f(X^{(0)})+(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2}{)}_{X_{(0)}}(\genfrac{}{}{0ex}{}{\Delta x_1}{\Delta x_2})+\frac{1}{2}(\Delta x_1,\Delta x_2)\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right){|}_{X^{(0)}}(\genfrac{}{}{0ex}{}{\Delta x_1}{\Delta x_2})+...$$
即：
$$f(X)=f(X^{(0)})+\Delta f(X^{(0)}{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X^{(0)})\Delta X+...$$
其中
$$G(X^{(0)})=\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right){|}_{X^{(0)}},\Delta X=\left(\genfrac{}{}{0ex}{}{\Delta x_1}{\Delta x_2}\right)$$
$G(X^{(0)})$ 是$f(x_1,x_2)$ 在 $X^{(0)}$ 处的黑塞矩阵。它是由函数$f((x_1,x_2)$ 在 $X^{(0)}$ 处的二阶偏导数所组成的方阵

多元函数的黑塞矩阵
将二元函数的泰勒展开式推广到多元函数，则 $f(x_1,x_2,...,x_n)$ 在 $X^{(0)}$ 点处的泰勒展开式的矩阵形式为：
$$f(X)=f(X^{(0)})+\Delta f(X^{(0)}{)}^T\Delta X+\frac{1}{2}\Delta X^{T}G(X^{(0)})\Delta X+...$$
其中：
（1）$\Delta f(X^{0)})=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n}]{|}_{X^{(0)}}^T$，他是 $f(x)$ 在$X^{(0)}$ 点处的梯度
（2）$G(X^{(0)})={\left(\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& ...& \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& ...& \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& ...& \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right)}_{X^{(0)}}$ 为函数 $f(X)$ 在 $X^{(0)}$ 点处的黑塞矩阵。
黑塞矩阵是由目标函数 $f$ 在点X处的二阶偏导数组成的 $n\times n$ 阶对称矩阵。