杂记——极大似然估计的渐近正态性

结论

  假设$x_1,\cdots ,x_n$是来自$f_{\theta }(x)$的独立同分布样本，${\hat{\theta }}_{MLE}$是参数$\theta$的极大似然估计，那么$${\hat{\theta }}_{MLE}\dot{\sim }N(\theta ,\frac{1}{nI(\theta )})\text{\hspace{1em}(1)}$$其中，$I(\theta )$为$Fisher$信息量。

证明

  首先来看单样本的情况，即有样本$x$来自$f_{\theta }(x)$，则其似然函数为$$l_x(\theta )=log(f_{\theta }(x))\text{\hspace{1em}(2)}$$对$\theta$求导有$${\dot{l}}_x(\theta )=\frac{\partial }{\partial \theta }log(f_{\theta }(x))=\frac{{\dot{f}}_{\theta }(x)}{f_{\theta }(x)}\text{\hspace{1em}(3)}$$${\dot{l}}_x(\theta )$被称作得分函数，它的期望为：$$E({\dot{l}}_x(\theta ))={\int }_{\chi }\frac{{\dot{f}}_{\theta }(x)}{f_{\theta }(x)}$$