最大似然估计的一些优点

最大似然估计的一些优点

主要内容：
- asymptotic correctness
- asymptotic normality
- efficiency

随机变量$X$服从分布$p(x|\theta)$，$\theta$为参数。在$n$次独立重复实验中产生观测值$x_1,\cdots,x_n$。可以选择$\hat{\theta}$作为$\theta$的估计值，使似然函数$L(\hat{\theta})=\prod_{i=1}^np(x_i|\hat{\theta})$达到最大值。

asymptotic correctness

随着样本数$n$增多，估计值$\hat{\theta}$会最终趋向于真实值$\theta$。
使似然函数达到最大值，等价于使

$$\frac{1}{n}\log L(\hat{\theta})-\mathrm{constant}$$ 达到最大值
$$\begin{aligned} \frac{1}{n}\log L(\hat{\theta})-\mathrm{constant} &=\frac{1}{n}\sum_{i=1}^n\log p(x_i|\hat{\theta})-\int p(x|\theta)\log p(x|\theta)dx\\ &\stackrel{n\to\infty}{\longrightarrow}\int p(x|\theta)\log p(x|\hat{\theta})dx-\int p(x|\theta)\log p(x|\theta)dx\\ &=\int p(x|\theta)\log\frac{p(x|\hat{\theta})}{p(x|\theta)}dx\\ &=-D(p(x|\theta)\parallel p(x|\hat{\theta}))\\ &\le0 \end{aligned}$$
所以，只有在 $\hat{\theta}=\theta$时，才能取到最大值。

asymptotic normality

估计$\hat{\theta}=\hat{\theta}(X_1,\cdots,X_n)$的抽样分布服从正态分布。

由于$n$很大，$\hat{\theta}$很接近$\theta$，可以对等式进行泰勒展开。（网站崩溃了。。。下面的没有保存成功。。全要重新再写一遍。。。不过发现了之前的一个错误！）

$$\begin{aligned} 0&=\frac{d}{d\theta}\log L(\hat{\theta})\\ &=\sum_{i=1}^n\frac{d}{d\theta}\log p(X_i|\hat{\theta})\\ &=\sum_{i=1}^n\frac{d}{d\theta}\log p(X_i|\theta)+(\hat{\theta}-\theta)\sum_{i=1}^n\frac{d^2}{d\theta^2}\log p(X_i|\theta)+O((\theta-\hat{\theta})^2)\\ &=\sum_{i=1}^n\frac{d}{d\theta}\log p(X_i|\theta)+(\hat{\theta}-\theta)n\int p(x|\theta)\frac{d^2}{d\theta^2}\log p(x|\theta)dx+O((\theta-\hat{\theta})^2)\\ &=\sum_{i=1}^n\frac{d}{d\theta}\log p(X_i|\theta)-(\hat{\theta}-\theta)nI+O((\theta-\hat{\theta})^2) \end{aligned}$$
其中 $I$为Fisher Information
$$\begin{aligned} (\hat{\theta}-\theta)=\frac{1}{nI}\sum_{i=1}^n\frac{d}{d\theta}\log p(X_i|\theta)+\mathrm{negligible terms} \end{aligned}$$
根据中心极限定理，等式右边服从正态分布 $N(0,\frac{1}{n}I^{-1})$
均值：
$$\begin{aligned} \mu&=\int p(x|\theta)(\frac{d}{d\theta}\log p(x|\theta))dx\\ &=\int\frac{d}{d\theta}p(x|\theta)dx\\ &=\frac{d}{d\theta}\int p(x|\theta)dx\\ &=\frac{d}{d\theta}1\\ &=0 \end{aligned}$$
方差：
$$\begin{aligned} \sigma^2&=(\frac{1}{nI})^2n\mathrm{Var}[\frac{d}{d\theta}\log p(X|\theta)]\\ &=(\frac{1}{nI})^2n\int p(x|\theta)(\frac{d}{d\theta}\log p(x|\theta)-\mu)^2dx\\ &=(\frac{1}{nI})^2nI\\ &=\frac{1}{nI} \end{aligned}$$
因此 $\hat{\theta}\sim N(\theta,\frac{1}{n}I^{-1})$

efficiency

最大似然估计在所有无偏估计中具有最小方差。
根据Cramer-Rao bound：

$$\mathrm{Var}(\hat{\theta})\ge\frac{1}{nI}$$
其中 $\hat{\theta}$是任意的无偏估计， I <script type="math/tex" id="MathJax-Element-28">I</script>是Fisher Information
所以，最大似然估计达到了下界。
参考资料

An Introduction to Maximum Likelihood Estimation and Information Geometry