最大似然估计会低估方差

根据最大似然估计可以得到方差的估计值为:

σ M L 2 = 1 N ∑ n = 1 N ( x n − μ M L ) 2 (1) \sigma_{ML}^{2}=\frac{1}{N}\sum_{n=1}^{N}(x_{n}-\mu_{ML})^{2}\tag {1} σML2=N1n=1N(xnμML)2(1)

其中 μ M L = 1 N ∑ i = 1 N x i \mu_{ML}=\frac{1}{N}\sum_{i=1}^{N}x_{i} μML=N1i=1Nxi

σ M L 2 \sigma_{ML}^{2} σML2求期望的结果为:

E ( σ M L 2 ) = N − 1 N σ 2 (2) E(\sigma_{ML}^{2})=\frac{N-1}{N}\sigma^{2}\tag {2} E(σML2)=NN1σ2(2)

从这个结果来看,可以知道最大似然估计对实际的方差 σ 2 \sigma^{2} σ2低估了,主要是因为系数 N − 1 N \frac{N-1}{N} NN1

下面对这个期望结果进行证明:

( 1 ) (1) (1)式代入 ( 2 ) (2) (2)可得,

E ( σ M L 2 ) = E ( 1 N ∑ n = 1 N ( x n − μ M L ) 2 ) = 1 N ∑ n = 1 N E ( ( x n − μ M L ) 2 ) = 1 N ∑ n = 1 N E ( x n 2 − 2 x n μ M L + μ M L 2 ) = 1 N ∑ n = 1 N E ( x n 2 ) − 2 N ∑ n = 1 N E ( ( 1 N x n 2 + 1 N ∑ i = 1 , i ≠ n N x n x i ) ) + 1 N ∑ n = 1 N E ( μ M L 2 ) ⏟ ∗ = σ 2 + μ 2 − 2 N μ 2 − 2 N σ 2 − 2 N − 1 N μ 2 + μ 2 + 1 N σ 2 = N − 1 N σ 2 \begin{aligned} E(\sigma_{ML}^{2}) &= E(\frac{1}{N}\sum_{n=1}^{N}(x_{n}-\mu_{ML})^{2}) \\ & = \frac{1}{N}\sum_{n=1}^{N}E((x_{n}-\mu_{ML})^{2}) \\ & = \frac{1}{N}\sum_{n=1}^{N}E(x_{n}^{2}-2x_{n}\mu_{ML}+\mu_{ML}^{2})\\ & = \frac{1}{N}\sum_{n=1}^{N}E(x_{n}^{2})-\frac{2}{N}\sum_{n=1}^{N}E((\frac{1}{N}x_{n}^{2}+\frac{1}{N}\sum_{i=1,i\neq{n}}^{N}x_{n}x_{i}))+\frac{1}{N}\sum_{n=1}^{N}\underbrace{E(\mu_{ML}^{2})}_{*}\\ & = \sigma^{2}+\mu^{2}-\frac{2}{N}\mu^{2}-\frac{2}{N}\sigma^{2}-2\frac{N-1}{N}\mu^{2}+\mu^{2}+\frac{1}{N}\sigma^{2}\\ & = \frac{N-1}{N}\sigma^{2} \end{aligned} E(σML2)=E(N1n=1N(xnμML)2)=N1n=1NE((xnμML)2)=N1n=1NE(xn22xnμML+μML2)=N1n=1NE(xn2)N2n=1NE((N1xn2+N1i=1,i=nNxnxi))+N1n=1N E(μML2)=σ2+μ2N2μ2N2σ22NN1μ2+μ2+N1σ2=NN1σ2
其中 μ \mu μ是数据的真实均值, σ 2 \sigma^{2} σ2是数据的真实方差,下方花括号括起来的*式的具体计算过程如下:
E ( μ M L 2 ) = E 2 ( μ M L ) + D ( μ M L ) = μ 2 + D ( 1 N ∑ i = 1 N x i ) = μ 2 + 1 N 2 D ( ∑ i = 1 N x i ) = μ 2 + 1 N 2 N σ 2 = μ 2 + 1 N σ 2 \begin{aligned} E(\mu_{ML}^{2}) & = E^{2}(\mu_{ML})+D(\mu_{ML})\\ & = \mu^{2}+D(\frac{1}{N}\sum_{i=1}^{N}x_{i})\\ & = \mu^{2}+\frac{1}{N^{2}}D(\sum_{i=1}^{N}x_{i})\\ & = \mu^{2}+\frac{1}{N^{2}}N\sigma^{2}\\ & = \mu^{2}+\frac{1}{N}\sigma^{2} \end{aligned} E(μML2)=E2(μML)+D(μML)=μ2+D(N1i=1Nxi)=μ2+N21D(i=1Nxi)=μ2+N21Nσ2=μ2+N1σ2

证毕。

最大似然估计(Maximum Likelihood Estimation, MLE)是一种常用的参数估计方法,通过最大化似然函数来获取未知参数的最佳估计值。关于MLE的一个重要性质是其渐近分布特性,在样本足够大的时候,MLE通常会收敛到正态分布,并且我们能够确定它的渐近方差。 **最大似然估计的渐近方差** 当样本容趋近于无穷大时,如果某些规律条件得到满足,则基于这些数据的最大似然估计将会呈现出以下特点: 1. **一致性**:即随着样本数目的增加,估计结果将无限接近真实值; 2. **渐进正态性**:这意味着对于充分大的样本来说,MLE可以被视为来自均值等于实际参数、协方差矩阵为信息矩阵倒数的多元高斯分布; 3. **效率最优**:在所有无偏估计中拥有最小的标准误差。 具体而言,“渐近方差”是指在这个极限过程中,估计标准误所趋向的那个固定数值。更准确地说就是指观测 Fisher Information 矩阵逆矩阵对角线元素的平方根。该值描述了我们在大观察下可以获得多么精确地逼近真值的能力大小。 为了计算这个渐近方差,我们需要先求得Fisher information matrix \( I(\theta) \),它衡的是给定模型和参数的情况下,每个单独的数据点提供的有关θ的信息。然后取其期望值得到总体版本\( E[I(θ)] = -E[Hessian(logL; θ)]\) 。最终的结果便是此期望值下的矩阵的逆形式作为渐近协方差矩阵,而对应的主对角线上各分则是相应单个参数的最大似然估计的渐近方差
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值