最大似然估计会低估方差

mg1507

已于 2024-02-26 11:19:53 修改

阅读量4k

点赞数

分类专栏：概率论文章标签：机器学习，概率论，似然函数

于 2019-10-30 08:53:27 首次发布

本文链接：https://blog.csdn.net/mg1507/article/details/102792766

版权

概率论专栏收录该内容

2 篇文章

订阅专栏

根据最大似然估计可以得到方差的估计值为：

$\sigma_{ML}^{2}=\frac{1}{N}\sum_{n=1}^{N}(x_{n}-\mu_{ML})^{2}\tag {1}$

其中 $\mu_{ML}=\frac{1}{N}\sum_{i=1}^{N}x_{i}$

对 $\sigma_{ML}^{2}$ 求期望的结果为：

$E(\sigma_{ML}^{2})=\frac{N-1}{N}\sigma^{2}\tag {2}$

从这个结果来看，可以知道最大似然估计对实际的方差 $\sigma^{2}$ 低估了，主要是因为系数 $\frac{N-1}{N}$

下面对这个期望结果进行证明：

将 $(1)$ 式代入 $(2)$ 可得，

$\begin{aligned} E(\sigma_{ML}^{2}) &= E(\frac{1}{N}\sum_{n=1}^{N}(x_{n}-\mu_{ML})^{2}) \\ & = \frac{1}{N}\sum_{n=1}^{N}E((x_{n}-\mu_{ML})^{2}) \\ & = \frac{1}{N}\sum_{n=1}^{N}E(x_{n}^{2}-2x_{n}\mu_{ML}+\mu_{ML}^{2})\\ & = \frac{1}{N}\sum_{n=1}^{N}E(x_{n}^{2})-\frac{2}{N}\sum_{n=1}^{N}E((\frac{1}{N}x_{n}^{2}+\frac{1}{N}\sum_{i=1,i\neq{n}}^{N}x_{n}x_{i}))+\frac{1}{N}\sum_{n=1}^{N}\underbrace{E(\mu_{ML}^{2})}_{*}\\ & = \sigma^{2}+\mu^{2}-\frac{2}{N}\mu^{2}-\frac{2}{N}\sigma^{2}-2\frac{N-1}{N}\mu^{2}+\mu^{2}+\frac{1}{N}\sigma^{2}\\ & = \frac{N-1}{N}\sigma^{2} \end{aligned}$
其中 $\mu$ 是数据的真实均值， $\sigma^{2}$ 是数据的真实方差，下方花括号括起来的*式的具体计算过程如下：
$\begin{aligned} E(\mu_{ML}^{2}) & = E^{2}(\mu_{ML})+D(\mu_{ML})\\ & = \mu^{2}+D(\frac{1}{N}\sum_{i=1}^{N}x_{i})\\ & = \mu^{2}+\frac{1}{N^{2}}D(\sum_{i=1}^{N}x_{i})\\ & = \mu^{2}+\frac{1}{N^{2}}N\sigma^{2}\\ & = \mu^{2}+\frac{1}{N}\sigma^{2} \end{aligned}$

证毕。