黑塞矩阵
泰勒展开公式
设n是一个正整数。如果定义一个包含
a
a
a的区间上的函数
f
f
f在
a
a
a点处
n
+
1
n+1
n+1次可导，那么对于这个区间上的任意
x
x
x，都有：
f
(
x
)
=
f
(
a
)
+
f
′
(
a
)
1
!
(
x
−
a
)
+
f
(
2
)
(
a
)
2
!
(
x
−
a
)
2
+
⋯
+
f
(
n
)
(
a
)
n
!
(
x
−
a
)
n
+
R
n
(
x
)
f(x)=f(a)+\cfrac{f'(a)}{1!}(x-a)+\cfrac{f^{(2)}(a)}{2!}(x-a)^2+\cdots+\cfrac{f^{(n)}(a)}{n!}(x-a)^n+R_n(x)
f(x)=f(a)+1!f′(a)(x−a)+2!f(2)(a)(x−a)2+⋯+n!f(n)(a)(x−a)n+Rn(x)
其中的多项式称为函数在
a
a
a处的泰勒展开式，剩余的
R
n
(
x
)
R_{n}(x)
Rn(x)是泰勒公式的余项，是
(
x
−
a
)
n
(x-a)^n
(x−a)n的高阶无穷小。
泰勒二阶展开
同理，二元函数
f
(
x
1
,
x
2
)
f(x_1,x_2)
f(x1,x2)在
x
0
(
x
10
,
x
20
)
x_0(x_{10},x_{20})
x0(x10,x20)处的泰勒展开式为
f
(
x
1
,
x
2
)
=
f
(
x
10
,
x
20
)
+
f
x
1
(
x
10
,
x
20
)
Δ
x
1
+
f
x
2
(
x
10
,
x
20
)
Δ
x
2
+
1
2
[
f
x
1
x
1
(
x
10
,
x
20
)
Δ
x
1
2
+
2
f
x
1
x
2
(
x
10
,
x
20
)
Δ
x
1
Δ
x
2
+
f
x
2
x
2
(
x
10
,
x
20
)
Δ
x
2
2
]
f(x_1,x_2)=f(x_{10},x_{20})+f_{x_1}(x_{10},x_{20})\Delta{x_1}+f_{x_2}(x_{10},x_{20})\Delta x_2+\cfrac{1}{2}[f_{x_1x_1}(x_{10},x_{20})\Delta x_1^2+2f_{x_1x_2}(x_{10},x_{20})\Delta x_1\Delta x_2+f_{x_2x_2}(x_{10},x_{20})\Delta x_2^2]
f(x1,x2)=f(x10,x20)+fx1(x10,x20)Δx1+fx2(x10,x20)Δx2+21[fx1x1(x10,x20)Δx12+2fx1x2(x10,x20)Δx1Δx2+fx2x2(x10,x20)Δx22]
其中
Δ
x
1
=
x
1
−
x
10
,
Δ
x
2
=
x
2
−
x
20
,
f
x
1
=
∂
f
∂
x
1
,
f
x
2
=
∂
f
∂
x
2
,
f
x
1
x
1
=
∂
2
f
∂
x
1
2
,
f
x
2
x
2
=
∂
2
f
∂
x
2
2
,
f
x
1
x
2
=
∂
2
f
∂
x
1
∂
x
2
\Delta x_1=x_1-x_{10}, \Delta x_2=x_2-x_{20}, f_{x_1}=\cfrac{\partial f}{\partial x_1}, f_{x_2}=\cfrac{\partial f}{\partial x_2}, f_{x_1x_1}=\cfrac{\partial^2f}{\partial x_1^2}, f_{x_2x_2}=\cfrac{\partial^2f}{\partial x_2^2}, f_{x_1x_2}=\cfrac{\partial^2f}{\partial x_1\partial x_2}
Δx1=x1−x10,Δx2=x2−x20,fx1=∂x1∂f,fx2=∂x2∂f,fx1x1=∂x12∂2f,fx2x2=∂x22∂2f,fx1x2=∂x1∂x2∂2f
矩阵形式：
f
(
X
)
=
f
(
X
0
)
+
(
f
x
1
,
f
x
2
)
X
0
(
Δ
x
1
Δ
x
2
)
+
1
2
(
Δ
x
1
,
Δ
x
2
)
(
f
x
1
x
1
,
f
x
1
x
2
f
x
2
x
1
,
f
x
2
x
2
)
X
0
(
Δ
x
1
Δ
x
2
)
+
⋯
=
f
(
X
0
)
+
∇
f
(
X
0
)
T
Δ
X
+
1
2
Δ
X
T
G
(
X
0
)
Δ
X
+
⋯
\begin{aligned} f(X)&=f(X_0)+\left(f_{x_1},f_{x_2}\right)_{X_0}\binom{\Delta x_1}{\Delta x_2}+\cfrac{1}{2}\left(\Delta x_1,\Delta x_2\right)\binom{f_{x_1 x_1},f_{x_1 x_2}}{f_{x_2 x_1},f_{x_2 x_2}}_{X_0}\binom{\Delta x_1}{\Delta x_2} + \cdots\\ &=f(X_0)+\nabla f(X_0)^T\Delta X+\cfrac{1}{2}\Delta X^TG(X_0)\Delta X+\cdots \end{aligned}
f(X)=f(X0)+(fx1,fx2)X0(Δx2Δx1)+21(Δx1,Δx2)(fx2x1,fx2x2fx1x1,fx1x2)X0(Δx2Δx1)+⋯=f(X0)+∇f(X0)TΔX+21ΔXTG(X0)ΔX+⋯
G
(
X
0
)
G(X_0)
G(X0)是
f
(
x
1
,
x
2
)
f(x_1,x_2)
f(x1,x2)在
X
0
X_0
X0点处的黑塞矩阵。它是函数
f
(
x
1
,
x
2
)
f(x_1,x_2)
f(x1,x2)在
X
0
X_0
X0点处的二阶偏导所组成的方阵。
多元函数的黑塞矩阵
将二元函数的泰勒展开式推广到多元函数，则
f
(
x
1
,
x
2
,
⋯
,
x
n
)
f(x_1,x_2,\cdots,x_n)
f(x1,x2,⋯,xn)在
X
0
X_0
X0处的泰勒展开式的矩阵形式为：
f
(
X
)
=
f
(
X
0
)
+
∇
f
(
X
0
)
T
Δ
X
+
1
2
Δ
X
T
G
(
X
0
)
Δ
X
+
⋯
f(X)=f(X_0)+\nabla f(X_0)^T\Delta X+\cfrac{1}{2}\Delta X^TG(X_0)\Delta X+\cdots
f(X)=f(X0)+∇f(X0)TΔX+21ΔXTG(X0)ΔX+⋯
其中：
∇
f
(
X
0
)
=
[
f
x
1
,
f
x
2
,
…
,
f
x
n
]
X
0
T
\nabla f(X_0)=\left[f_{x_1},f_{x_2},\dots,f_{x_n}\right]^T_{X_0}
∇f(X0)=[fx1,fx2,…,fxn]X0T，是
f
f
f在
X
0
X_0
X0的梯度
G ( X 0 ) = [ f x 1 x 1 , f x 1 x 2 , … , f x 1 x n f x 2 x 1 , f x 2 x 2 , … , f x 2 x n ⋮ f x n x 1 , f x n x 2 , … , f x n x n ] G(X_0)= \left[\begin{array}{cccc}{f_{x_1x_1},f_{x_1x_2},\dots,f_{x_1x_n}} \\ {f_{x_2x_1},f_{x_2x_2},\dots,f_{x_2x_n}} \\ {\vdots} \\ {f_{x_nx_1},f_{x_nx_2},\dots,f_{x_nx_n}}\end{array}\right] G(X0)=⎣⎢⎢⎢⎡fx1x1,fx1x2,…,fx1xnfx2x1,fx2x2,…,fx2xn⋮fxnx1,fxnx2,…,fxnxn⎦⎥⎥⎥⎤为函数 f ( X 0 ) f(X_0) f(X0)在 X 0 X_0 X0处的黑塞矩阵。黑塞矩阵是由目标函数 f ( X 0 ) f(X_0) f(X0)在点 X X X处的二阶偏导数组成的 n × n n \times n n×n阶对称矩阵。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
