海森矩阵(Hessian Matrix)与泰勒展开式:
一元泰勒展开式:
定理:设n为一正整数,若定义在一个包含
α
\alpha
α 的区间上的函数f在
α
\alpha
α 点处n+1次可导,那么对于这个区间上的任意x1都有:
f
(
x
)
=
f
(
α
)
+
f
1
(
a
)
1
!
(
x
−
α
)
+
f
2
(
a
)
2
!
(
x
−
α
)
2
+
.
.
.
+
f
n
(
a
)
n
!
(
x
−
α
)
n
+
R
n
(
x
)
f(x) = f(\alpha ) + \frac{{f}^{1}(a)}{1!}(x-\alpha )+\frac{{f}^{2}(a)}{2!}(x-\alpha )^{2}+...+\frac{{f}^{n}(a)}{n!}(x-\alpha )^{n}+R_{n}(x)
f(x)=f(α)+1!f1(a)(x−α)+2!f2(a)(x−α)2+...+n!fn(a)(x−α)n+Rn(x)
其中的多项式称为函数在
α
\alpha
α 处的泰勒展开式,剩余的
R
n
(
x
)
R_{n}(x)
Rn(x) 是泰勒公式的余项,是
(
x
−
α
)
n
(x-\alpha)^{n}
(x−α)n 的高阶无穷小.
多元泰勒展开式
f
(
x
)
=
f
(
x
0
)
+
▽
f
(
x
0
)
T
△
x
+
1
2
△
x
T
G
(
x
0
)
△
x
+
.
.
.
f(x)=f(x_{0})+\bigtriangledown f(x_{0})^{T}\bigtriangleup x+\frac{1}{2}\bigtriangleup x^{T}G(x_{0})\bigtriangleup x+...
f(x)=f(x0)+▽f(x0)T△x+21△xTG(x0)△x+...
其中
▽
f
(
x
0
)
=
[
ϑ
f
ϑ
x
1
ϑ
f
ϑ
x
2
]
\bigtriangledown f(x_{0})=\begin{bmatrix} & \frac{\vartheta f}{\vartheta x_{1}}\\ & \frac{\vartheta f}{\vartheta x_{2}} \end{bmatrix}
▽f(x0)=[ϑx1ϑfϑx2ϑf]
倒三角为一阶导,G(x0)为二阶导