关于多维高斯随机变量的信息矩阵与协方差矩阵的关系

假设 $n$ 维高斯随机变量
$$X\sim N(\mu ，\Sigma )$$其概率密度函数为：
$$f_X(x)=\alpha e^{-\frac{1}{2}[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]}\text{\hspace{1em}(1)}$$其中$\alpha$是归一化因子。

根据Wikipedia对Fisher Information的定义，
$$[\mathrm{I}(\theta ){]}_{i,j}=-E_X[\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}log{f}_X(x;\theta )|\theta ]\text{\hspace{1em}(2)}$$对照式（1）和式（2），视式（1）中的$\mu$为式（2）中的参数$\theta$，并假设随机变量$X$的协方差矩阵$\Sigma$以及$f_X$中的归一化因子$\alpha$与$\mu$无关；则有：
$$\begin{array}{rl}\frac{{\partial }^2}{\partial {\mu }_i\partial {\mu }_j}ln{f}_X(x;\mu )& =\frac{{\partial }^2}{{\mu }_i\partial {\mu }_j}ln(\alpha e^{-\frac{1}{2}[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]})\\ & =\frac{{\partial }^2}{\partial {\mu }_i\partial {\mu }_j}(ln\alpha -\frac{1}{2}[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )])\\ & =-\frac{1}{2}\frac{{\partial }^2}{\partial {\mu }_i\partial {\mu }_j}[(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )]\\ & =-[{\Sigma }^{-1}{]}_{i,j}\end{array}\text{\hspace{1em}(3)}$$
于是：
$$[\mathrm{I}(\mu ){]}_{ij}=-E_X[-[{\Sigma }^{-1}{]}_{i,j}]\text{\hspace{1em}(3)}$$
由于协方差矩阵的逆${\Sigma }^{-1}$是与$\mu$无关的常数，因此
$$\begin{array}{rl}[\mathrm{I}(\mu ){]}_{ij}& =E_X[[{\Sigma }^{-1}{]}_{i,j}]\\ & =\int [{\Sigma }^{-1}{]}_{i,j}{f}_X(x)dx\\ & =[{\Sigma }^{-1}{]}_{i,j}\int f_X(x)dx\\ & =[{\Sigma }^{-1}{]}_{i,j}\ast 1\\ & =[{\Sigma }^{-1}{]}_{i,j}\end{array}\text{\hspace{1em}(4)}$$

因此信息矩阵
$$\Lambda =\mathrm{I}(\mu )={\Sigma }^{-1}\text{\hspace{1em}(5)}$$
即信息矩阵等于协方差矩阵的逆