2021-07-01

Fisher信息

正则分布族

在介绍Fisher信息之前先介绍一下正则分布族：
设X~$\mathcal{F}$={f(x,$\theta$),$\theta \in \Theta$},若分布族$\mathcal{F}$满足以下五个条件条件，则称其为正则分不族，或称为Cramer-Rao分布族，简称为C-R分布族。
(1)$\Theta$为${\mathcal{R}}^k$上的开集；若$\theta \ne {\theta }^{\prime }$,则 μ { x : f ( x , θ ) ≠ f ( x , θ ′ ) } > 0 \mu\{x:f(x,\theta)\ne f(x,\theta')\}>0 μ{x:f(x,θ)​=f(x,θ′)}>0
(2)分布族$\mathcal{F}$的对数似然函数$l(\theta ,x)=log(f(x,\theta ))$关于$\theta$存在二阶以上的导数，其一阶导数与二阶导数分别记作$\frac{\partial }{\partial \theta }l(\theta ,x)$和$\frac{{\partial }^2}{\partial \theta \partial {\theta }^T}l(\theta ,x)$
(3)令$S(x,\theta )=\frac{\partial }{\partial \theta }l(\theta ,x)$,称$S=(S_1,...,S_k{)}^T=(\frac{\partial }{\partial {\theta }_1}l(\theta ,x)),...,\frac{\partial }{\partial {\theta }_k}l(\theta ,x){)}^T$为得分函数。假定$S$在$\Theta$上前二阶矩存在，即$E(S_i{S}_j)=E(\frac{l}{\partial {\theta }_i}\frac{l}{\partial {\theta }_j})$存在，i.j=1,2,…,k
（4） F = { f ( x , θ ) , θ ∈ Θ } \mathcal{F}=\{f(x,\theta),\theta\in\Theta\} F={f(x,θ),θ∈Θ}有共同支撑；即 { x : f ( x , θ ) > 0 } \{x:f(x,\theta)>0\} {x:f(x,θ)>0}与$\theta$无关。
（5）$f(x,\theta )$关于微分与积分可以交换次序，即$\frac{\partial }{\partial \theta }{\int }_{-\infty }^{\infty }f(x,\theta )dx={\int }_{-\infty }^{\infty }\frac{\partial }{\partial \theta }f(x,\theta )dx$

Fisher信息

设X~$\mathcal{F}$={f(x,$\theta$),$\theta \in \Theta \subset {\mathcal{R}}^k$ }为正则分布族，称$I_{ij}(\theta )=E(S_i{S}_j)=E(\frac{l}{\partial {\theta }_i}\frac{l}{\partial {\theta }_j})$和$I(\theta )=(I_{ij}(\theta ){)}_{k\times k}$分别为分布族关于参数$\theta$的Fisher信息函数和Fisher信息矩阵。