Fisher Information（费雪信息）详解

Fisher Information（费雪信息）

定义

Fisher Information 是一种衡量“随机观测样本携带的未知参数$\theta$的信息量”的方法，其中$\theta$为待估计的参数。

假定观测随机变量序列为 $X_1,X_2,...,X_3$，且都服从概率分布$f(X;\theta )$，则似然函数可以表示成：
$$L(\mathbf{X};\theta )=\prod _{i=1}^{n}f\left(X_i;\theta \right)$$
对数似然函数对$\theta$求导并令一阶导数为0，则可以得到$\theta$的最大似然估计值$\hat{\theta }$。上述对数似然函数的一阶导数也称作Score function，其定义为：
$$S(\mathbf{X};\theta )=\sum _{i=1}^n\frac{\partial \log f\left(X_i;\theta \right)}{\partial \theta }=\sum _{i=1}^{n}S(X_i;\theta )$$
那么Fisher Information定义为Score function的二阶矩$I(\theta )=E\left[S(\mathbf{X};\theta {)}^2\right]$，下面对以下两点进行证明

• $E[S(\mathbf{X};\theta )]=0$
• $I(\theta )=E\left[S(\mathbf{X};\theta {)}^2\right]-E[S(\mathbf{X};\theta ){]}^2=\mathrm{Var}[S(\mathbf{X};\theta )]$

证明一

因为概率密度函数$f(X_i;\theta )$有以下性质

上式两边对$\theta$进行求导

对上式左端进行变换

证明二

由证明一，显然可得。

由证明二可以得到Fisher Information的第一条数学意义：最大似然估计的方程的方差。

进一步，如果对数似然函数二阶可导，则在一般情况下可以证明：

• $I(\theta )=E\left[S(\mathbf{X};\theta {)}^2\right]=-E\left(\frac{{\partial }^2}{\partial {\theta }^2}\log L(\mathbf{X};\theta )\right)$

证明三

令$\frac{\partial \ell \left(\theta ;x\right)}{\partial \theta }=\frac{\partial \log f\left(x;\theta \right)}{\partial \theta }$，根据证明一的结论有

对上式两边同时对$\theta$求偏导

上式左边第二项可以写为

从中可以得出

证毕。于是可以得到Fisher Information的第二条数学意义：对数似然函数在参数真实值处的负二阶导数的期望。

下面举个例子说明其数学含义，下图为一个简单的归一化伯努利对数似然函数图。

容易看出，当其平且宽的时候，代表了对参数估计的性能差，而当且坚且窄时，代表了对参数估计的性能好，也可以说信息量越大。而这个对数似然函数的负二阶导数就反映了其在顶点处的弯曲程度，弯曲程度大，对数似然函数的形状就趋近于高而窄，也表示掌握的信息越多。

矩阵形式

现假定待估计参数为$\theta =[{\theta }_1,{\theta }_2,...,{\theta }_N{]}^T$，则Fisher Information此时可以用矩阵形式表示，该矩阵称为Fisher information matrix，其中的元素可以写为以下两种形式：
$$\begin{array}{c}\begin{array}{rl}[\mathbb{I}(\theta ){]}_{i,j}& =E\left[\left(\frac{\partial }{\partial {\theta }_i}\log f(X;\mathbf{\theta })\right)\left(\frac{\partial }{\partial {\theta }_j}\log f(X;\mathbf{\theta })\right)\mid \mathbf{\theta }\right]\\ [\mathbb{I}(\theta ){]}_{i,j}& =-E\left[\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}\log f(X;\mathbf{\theta })\mid \mathbf{\theta }\right]\end{array}\end{array}$$
下面举例说明，归一化周期频率的复数正弦信号 s(t) 的均匀采样可以表示为
$$\begin{array}{rl}x\left[n\right]& =s\left[n\right]+w\left[n\right]\\ & =A\exp \left[j\left(2\pi f_{0}n+\varphi \right)\right]+w\left[n\right]\\ & =\tilde{A}\exp \left(j2\pi f_{0}n\right)+w\left[n\right],0\le n\le N-1\end{array}$$
其中$\tilde{A}=A\exp (j\varphi )$是复幅度， $\omega [n]$是功率为${\sigma }_w^2$的加性高斯白噪声。其中 $A，f_0,\varphi$为待估计参数。则Fisher information matrix中的第 $(i,j)$ 个元素为
$$\begin{array}{c}\left[\mathbf{I}{\left(\mathbf{\Theta }\right)}_{ij}\right]=\frac{2}{{\sigma }_w^2}\mathrm{Re}\left\{{\sum _{n=0}^{N-1}\left[\frac{\partial s\left[n;\mathbf{\Theta }\right]}{\partial {\Theta }_i}\right]}^{\ast }\left[\frac{\partial s\left[n;\mathbf{\Theta }\right]}{\partial {\Theta }_j}\right]\right\}\end{array}$$
其中$\mathbf{\Theta }=[A,f_0,\varphi {]}^{\mathrm{T}}$。他们的偏导可以表示为
$$\begin{array}{rl}\frac{\partial s\left[n;\mathbf{\Theta }\right]}{\partial A}& =\exp \left[j\left(2\pi f_{0}n+\varphi \right)\right]\\ \frac{\partial s\left[n;\mathbf{\Theta }\right]}{\partial f_0}& =j2\pi nA\exp \left[j\left(2\pi f_{0}n+\varphi \right)\right]\\ \frac{\partial s\left[n;\mathbf{\Theta }\right]}{\partial \varphi }& =jA\exp \left[j\left(2\pi f_{0}n+\varphi \right)\right].\end{array}$$
因此，FIM可以表示为
$$\begin{array}{rl}\left[\mathbf{I}{\left(\mathbf{\Theta }\right)}_{ij}\right]& =\frac{2}{{\sigma }_w^2}\left[\begin{array}{ccc}N& 0& 0\\ 0& A^2\sum _n{\left(2\pi n\right)}^2& A^2\sum _{n}2\pi n\\ 0& A^2\sum _{n}2\pi n& N{A}^2\end{array}\right].\end{array}$$