泰勒公式和海森矩阵(Hessian-matrix)

一、泰勒公式

1.背景介绍

    在数学中，泰勒公式（Taylor’s Formula）是一个用函数在某点的信息描述其附近取值的公式。这个公式来自于微积分的泰勒定理（Taylor’s theorem），泰勒定理描述了一个可微函数，如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值，这个多项式称为泰勒多项式（Taylor polynomial）。泰勒公式还给出了余项即这个多项式和实际的函数值之间的偏差。泰勒公式得名于英国数学家布鲁克·泰勒。他在1712年的一封信里首次叙述了这个公式，尽管1671年詹姆斯·格雷高里已经发现了它的特例。拉格朗日在1797年之前，最先提出了带有余项的现在形式的泰勒定理。

2.定理

    设 n 是一个正整数。如果定义在一个包含 a 的区间上的函数 f 在 a 点处 n+1 次可导，那么对于这个区间上的任意 x，都有：$$f(x)=f(a)+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{(2)}(a)}{2!}(x-a{)}^2+\dots +\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x)$$注意： 麦克劳林公式是泰勒公式（$a=0$，记 $\xi =\theta x(0<\theta <1)$的一种特殊形式。在不需要余项的精确表达式时，n阶泰勒公式也可写成：$$f(x)=f(0)+f^{\prime }(0)x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+\dots +\frac{f^{(n)}(0)}{n!}{x}^n+\frac{f^{(n+1)}(\theta x)}{(n+1)!}{x}^{n+1}$$

二、海森矩阵（Hessian-matrix）

1.背景介绍

    黑塞矩阵（德语：Hesse-Matrix；英语：Hessian matrix 或 Hessian），又译作海森矩阵、海塞矩阵或海瑟矩阵等，是一个由多变量实值函数的所有二阶偏导数组成的方块矩阵，由德国数学家奥托·黑塞引入并以其命名。

2.定义

假设有一实值函数$f(x_1,x_2,\dots ,x_n)$，如果$f$的所有二阶偏导数都存在并定义域内连续，那么函数$f$的黑塞矩阵为：$$H=[\begin{array}{ccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots \\ & & \\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots \\ & & \\ ⋮& ⋮& \ddots \\ & & \\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots \end{array}$$