Fisher信息量

1 Fisher信息量定义

 Fisher信息是一种测量可观测随机变量$X$携带的未知参数$\theta$的信息量的方法，其中$X$的概率依赖于参数$\theta$。令$f(X;\theta )$是一个参数为$\theta$的随机变量$X$的概率密度函数。如果$f$随着$\theta$的变化出现陡峭的峰谷，则说明从数据中得到了$\theta$正确的值，换句话说数据$X$提供了关于参数$\theta$很多的信息。如果$f$随着$\theta$的变化是比较平缓的，则需要对$X$进行更多的采样进而估计参数$\theta$。
 形式上，关于似然函数自然对数$\theta$的偏导数称为分数，即为$S=\frac{\partial }{\partial \theta }\log f(X;\theta )$。在某些规则性条件下，如果$\theta$是真参数（即为$X$实际分布$f(X;\theta )$，则在真参数值$\theta$处评估的分数的期望值为0，具体推导如下所示$$\begin{array}{rl}& \mathbb{E}\left[\frac{\partial }{\partial \theta }\log f(X;\theta )|\theta \right]\\ =& {\int }_{\mathbb{R}}\frac{\frac{\partial }{\partial \theta }f(x;\theta )}{f(x;\theta )}f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }{\int }_{\mathbb{R}}f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }1=0\end{array}$$Fisher信息量则被定义为分数$S$的方差，具体公式如下所示
$$\mathcal{I}(\theta )=\mathbb{E}\left[{\left(\frac{\partial }{\partial \theta }\log f(X;\theta )\right)}^2|\theta \right]={\int }_{\mathbb{R}}{\left(\frac{\partial }{\partial \theta }\log f(x;\theta )\right)}^{2}f(x;\theta )dx$$由上公式可以发现$\mathcal{I}(\theta )\ge 0$。携带高Fisher信息的随机变量意味着分数的绝对值通常很高。Fisher信息不是特定观测值的函数，因为随机变量$X$已被平均化。如果$f(x;\theta )$关于$\theta$是二次可微的，则此时Fisher信息量可以写为如下公式$$\mathcal{I}(\theta )=-\mathbb{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )|\theta \right]$$因为
$$\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{\left(\frac{\frac{\partial }{\partial \theta }f(X;\theta )}{f(X;\theta )}\right)}^2=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{\left(\frac{\partial }{\partial \theta }f(X;\theta )\right)}^2$$又因为
$$\mathbb{E}\left[\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}|\theta \right]=\frac{{\partial }^2}{\partial {\theta }^2}{\int }_{\mathbb{R}}f(x;\theta )dx=0$$综合以上两公式可以推导出Fisher信息量的新形式，证毕。

2 Cramer–Rao界推导

 Cramer-Rao界指出，Fisher信息量的逆是$\theta$的任何无偏估计量方差的下界。考虑一个$\theta$的无偏估计$\hat{\theta }(X)$，无偏估计的数学形式可以表示为$$\mathbb{E}\left[\hat{\theta }(X)-\theta |\theta \right]=\int \left(\hat{\theta }(x)-\theta \right)f(x;\theta )dx=0$$因为这个表达式与$\theta$无关，所以它对$\theta$的偏导数也必须为$0$。根据乘积法则，这个偏导数也等于$$0=\frac{\partial }{\partial \theta }\int \left(\hat{\theta }(x)-\theta \right)f(x;\theta )dx=\int \left(\hat{\theta }(x)-\theta \right)\frac{\partial f}{\partial \theta }dx-\int fdx$$对于每个$\theta$，似然函数是一个概率密度函数，因此$\int fdx=1$，进而则有$$\frac{\partial f}{\partial \theta }=f\frac{\partial \log f}{\partial \theta }$$根据以上两个条件，可以得到$$\int \left(\hat{\theta }-\theta \right)f\frac{\partial \log f}{\partial \theta }dx=1$$然后将将被积函数分解为$$\int \left(\left(\hat{\theta }-\theta \right)\sqrt{f}\right)\left(\sqrt{f}\frac{\partial \log f}{\partial \theta }\right)dx=1$$将积分中的表达式进行平方，再根据Cauchy–Schwarz不等式可得$$1={\left(\int \left[\left(\hat{\theta }-\theta \right)\sqrt{f}\right]\cdot \left[\sqrt{f}\frac{\partial \log f}{\partial \theta }\right]dx\right)}^2\le \left[\int {\left(\hat{\theta }-\theta \right)}^{2}fdx\right]\cdot \left[\int {\left(\frac{\partial \log f}{\partial \theta }\right)}^{2}fdx\right]$$其中第二个括号内的因子被定义为Fisher信息量，而第一个括号内的因子是估计量$\hat{\theta }$的期望均方误差，进而则有$$\mathrm{V}\mathrm{a}\mathrm{r}(\hat{\theta })\ge \frac{1}{\mathcal{I}(\theta )}$$由上公式可以发现估计$\theta$的精度基本上受到似然函数的Fisher信息量的限制。

3 矩阵形式

 给定一个$N\times 1$的参数向量$\theta =[{\theta }_1,{\theta }_2,\cdots ,{\theta }_N{]}^{\top }$，此时Fisher信息量可以表示为一个$N\times N$的矩阵。这个矩阵被称为Fisher信息矩阵，具体形式如下所示
$$[\mathcal{I}(\theta ){]}_{i,j}=\mathbb{E}\left[\left(\frac{\partial }{\partial {\theta }_i}\log f(X;\theta )\right)\left(\frac{\partial }{\partial {\theta }_j}\log f(X;\theta )\right)|\theta \right]$$Fisher信息矩阵是一个$N\times N$的半正定矩阵。在某些正则条件下，Fisher信息矩阵又可以写成如下形式
$$[\mathcal{I}(\theta ){]}_{i,j}=-\mathbb{E}\left[\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}\log f(X;\theta )|\theta \right]$$