Fisher信息
正则分布族
在介绍Fisher信息之前先介绍一下正则分布族:
设X~
F
\mathcal{F}
F={f(x,
θ
\theta
θ),
θ
∈
Θ
\theta\in\Theta
θ∈Θ},若分布族
F
\mathcal{F}
F满足以下五个条件条件,则称其为正则分不族,或称为Cramer-Rao分布族,简称为C-R分布族。
(1)
Θ
\Theta
Θ为
R
k
\mathcal{R^k}
Rk上的开集;若
θ
≠
θ
′
\theta\ne\theta'
θ=θ′,则
μ
{
x
:
f
(
x
,
θ
)
≠
f
(
x
,
θ
′
)
}
>
0
\mu\{x:f(x,\theta)\ne f(x,\theta')\}>0
μ{x:f(x,θ)=f(x,θ′)}>0
(2)分布族
F
\mathcal{F}
F的对数似然函数
l
(
θ
,
x
)
=
l
o
g
(
f
(
x
,
θ
)
)
l(\theta,x)=log(f(x,\theta))
l(θ,x)=log(f(x,θ))关于
θ
\theta
θ存在二阶以上的导数,其一阶导数与二阶导数分别记作
∂
∂
θ
l
(
θ
,
x
)
\frac{\partial}{\partial \theta}l(\theta,x)
∂θ∂l(θ,x)和
∂
2
∂
θ
∂
θ
T
l
(
θ
,
x
)
\frac{\partial^2}{\partial\theta\partial\theta^T}l(\theta,x)
∂θ∂θT∂2l(θ,x)
(3)令
S
(
x
,
θ
)
=
∂
∂
θ
l
(
θ
,
x
)
S(x,\theta)=\frac{\partial}{\partial \theta}l(\theta,x)
S(x,θ)=∂θ∂l(θ,x),称
S
=
(
S
1
,
.
.
.
,
S
k
)
T
=
(
∂
∂
θ
1
l
(
θ
,
x
)
)
,
.
.
.
,
∂
∂
θ
k
l
(
θ
,
x
)
)
T
S=(S_1,...,S_k)^T=(\frac{\partial}{\partial \theta_1}l(\theta,x)),...,\frac{\partial}{\partial \theta_k}l(\theta,x))^T
S=(S1,...,Sk)T=(∂θ1∂l(θ,x)),...,∂θk∂l(θ,x))T为得分函数。假定
S
S
S在
Θ
\Theta
Θ上前二阶矩存在,即
E
(
S
i
S
j
)
=
E
(
l
∂
θ
i
l
∂
θ
j
)
E(S_iS_j)=E(\frac{l}{\partial\theta_i}\frac{l}{\partial\theta_j})
E(SiSj)=E(∂θil∂θjl)存在,i.j=1,2,…,k
(4)
F
=
{
f
(
x
,
θ
)
,
θ
∈
Θ
}
\mathcal{F}=\{f(x,\theta),\theta\in\Theta\}
F={f(x,θ),θ∈Θ}有共同支撑;即
{
x
:
f
(
x
,
θ
)
>
0
}
\{x:f(x,\theta)>0\}
{x:f(x,θ)>0}与
θ
\theta
θ无关。
(5)
f
(
x
,
θ
)
f(x,\theta)
f(x,θ)关于微分与积分可以交换次序,即
∂
∂
θ
∫
−
∞
∞
f
(
x
,
θ
)
d
x
=
∫
−
∞
∞
∂
∂
θ
f
(
x
,
θ
)
d
x
\frac{\partial}{\partial\theta}\int_{-\infty}^\infty f(x,\theta)dx=\int_{-\infty}^\infty \frac{\partial}{\partial \theta}f(x,\theta)dx
∂θ∂∫−∞∞f(x,θ)dx=∫−∞∞∂θ∂f(x,θ)dx
Fisher信息
设X~ F \mathcal{F} F={f(x, θ \theta θ), θ ∈ Θ ⊂ R k \theta\in\Theta\subset\mathcal{R^k} θ∈Θ⊂Rk }为正则分布族,称 I i j ( θ ) = E ( S i S j ) = E ( l ∂ θ i l ∂ θ j ) I_{ij}(\theta)=E(S_iS_j)=E(\frac{l}{\partial\theta_i}\frac{l}{\partial\theta_j}) Iij(θ)=E(SiSj)=E(∂θil∂θjl)和 I ( θ ) = ( I i j ( θ ) ) k × k I(\theta)=(I_{ij}(\theta))_{k\times k} I(θ)=(Iij(θ))k×k分别为分布族关于参数 θ \theta θ的Fisher信息函数和Fisher信息矩阵。