为什么极大似然估计得到的方差是有偏估计_证明σ2最大似然估计值的有偏性-CSDN博客

本文链接：https://blog.csdn.net/smallflyingpig/article/details/52964209

问题来源

在学习模式分类过程中，我们会用到极大似然估计，最常见的是用它来估计期望和方差，而概率论中有这个结论，就是极大似然估计得到的方差是有偏的，那么为什么呢？

估计的无偏性

如果 $\hat{\theta}$ 是我们对 $\theta$ 的估计，则满足 $E(\hat\theta)=\theta$ 时我们说该估计是无偏的.

极大似然估计

假设样本集 $D$ 中有 $n$ 个样本： $x_1,x_2,\ldots x_n$ .我们需要估计的参数是 $\theta$ ，由于这些样本是独立抽取的，所以有下式成立：
$p(D|\theta)=\prod_{k=1}^{n}p(x_k|\theta)$
为简化计算，使用对数似然函数：
$l(\theta)=\ln(p(D|\theta))=\sum_{k=1}^n \ln (p(x_k|\theta)$
我们要求其极大值，对其求梯度，梯度为零的地方就是可能的极大值处：
$\nabla_\theta=\sum_{k=1}^{n}\nabla_\theta \ln(p(x_k|\theta))$
对于一维的正态分布，有:
$\ln p(x)= -\frac{1}{2}2\pi\sigma-\frac{1}{2\sigma}(x-\mu)^2$
这里我们假设 $\mu$ 已知，使用样本估计 $\sigma$ :
$\nabla _\sigma \ln p(x)=-\frac{1}{2\sigma}+\frac{(x_k-\mu)^2}{2\sigma^2}$
则极值条件为：
$-\sum_{k=1}^{n}\frac{1}{\hat{\sigma}}+\sum_{k=1}^{n}\frac{(x_k-\mu)}{2\hat{\sigma}^2}=0$
可得方差的极大似然估计为:
$\hat{\sigma}^2=\frac{1}{n}\sum_{k=1}^{n}(x_k-\mu)^2$

方差估计的有偏性

随机变量的和的均值和方差

$x_1,x_2,\ldots,x_n$ 是 $n$ 个独立同分布的随机变量 $Y=x_1+x_2+\ldots+x_n$ ，有:
$E(x_i)=\mu,D(x_i)=\sigma^2,E(x_i^2)=\sigma^2+\mu^2, i=1,2,...n$ $E(Y)=n\mu,D(Y)=n\sigma^2,E(Y^2)=D(Y)+E^2(Y)=n\sigma^2+n^2\mu^2$

证明有偏性

我们对一维高斯分布的方差的估计为 $\hat{\sigma}^2=\frac{1}{n}\sum_{k=1}^{n}(x_k-\mu)^2$ 它的期望为：

$\begin{aligned} E(\hat\sigma^2)&=E\{\frac{1}{n}\sum_{k=1}^{n}(x_k-\mu)^2\}\\ & =E\{ \frac{1}{n}\sum_{k=1}^{n}x_k^2-\mu^2\} \\ &= \frac{1}{n} \sum_{k=1}^{n} E(x_k^2)-E(\mu^2)\\ &=(\sigma^2+\mu^2)-E\{ (\frac{x_1+x_2+\ldots+x_n}{n})^2 \} \\ &=(\sigma^2+\mu^2)-\frac{1}{n^2}E(Y^2)\\ &=(\sigma^2+\mu^2)-\frac{1}{n^2}(n^2\mu^2+n\sigma^2)\\ &=\frac{n-1}{n}\sigma^2 \end{aligned}$
可知，该估计是有偏的。