经验似然课程笔记四:经验似然的数值计算

截面似然的计算

上一篇文章介绍了经验似然的基本思想 :以估计总体均值参数$\mu$为例, 我们是通过$\int xdF=\mu$这种约束将参数$\mu$引入最大似然函数的计算中来的: l ( μ ) = sup ⁡ { ∑ i = 1 n l o g ( p i ) : ∑ i = 1 n p i ( X i − μ ) = 0 , p i ≥ 0 , ∑ i = 1 n p i = 1 } l(\mu)=\sup\{\sum\limits_{i=1}^n log(p_i):\textcolor{red}{\sum\limits_{i=1}^np_i(X_i-\mu)=0},p_i\ge0,\sum\limits_{i=1}^np_i=1\} l(μ)=sup{ i=1∑n​log(pi​):i=1∑n​pi​(Xi​−μ)=0,pi​≥0,i=1∑n​pi​=1}.
简单点讲,就是我们知道总体参数一定满足$\int xdF=\mu$这个约束,那么最大似然函数的计算自然就应该在所有满足这个约束的分布$F$中去寻找，另外为了使得似然函数$l(\mu )$对不同的分布函数有区分能力,需要额外添加$F<<F_n$ ，即$p_i\ge 0,\sum _{i=1}^n{p}_i=1$的约束.

---

这次的这篇文章,我们就具体来讲一下这种截面的经验似然函数该如何进行数值计算。

---

上一篇文章提及：
对 l ( μ ) = sup ⁡ { ∑ i = 1 n l o g ( p i ) ∑ i = 1 n p i ( X i − μ ) = 0 , p i ≥ 0 , ∑ i = 1 n p i = 1 } l(\mu)=\sup\{\sum\limits_{i=1}^n log(p_i)\sum\limits_{i=1}^np_i(X_i-\mu)=0,p_i\ge0,\sum\limits_{i=1}^np_i=1\} l(μ)=sup{ i=1∑n​log(pi​)i=1∑n​pi​(Xi​−μ)=0,pi​≥0,i=1∑n​pi​=1} 使用Lagrange算子方法,求出$p_i,\xi ,\lambda$的表达式或者满足的约束,但是落实到实际的计算中,我们还没讲该怎么计算，这篇文章就是来说明这个问题的:

说明:这里的计算指的是给定一个$\mu$,计算出$l(\mu )$.

经验似然最核心的计算是计算截面经验似然函数
l ( μ ) = − n l o g ( n ) − ∑ i = 1 n l o g { 1 + λ ∗ T ( X i − μ ) } l(\mu)=-nlog(n)-\sum\limits_{i=1}^nlog\{1+\lambda_*^T(X_i-\mu)\} l(μ)=−nlog(n)−i=1∑n​log{ 1+λ∗T​(Xi​−μ)}

其中${\lambda }_{\ast }={\lambda }_{\ast }(\mu )$是满足如下约束的隐式解:
$$\sum _{i=1}^n\frac{X_i-\mu }{1+{\lambda }^T(X_i-\mu )}=0$$
注意,根据分母不能为0的原则，上述方程应该在 Ω μ = { λ : 1 + λ T ( X i − μ ) > 0 , i = 1 , 2 , . . , n } \Omega_\mu=\{\lambda:1+\lambda^T(X_i-\mu)>0,i=1,2,..,n\} Ωμ​={ λ:1+λT(Xi​−μ)>0,i=1,2,..,n}中求解！

---

因为我们的目标是给定$\mu$计算$l(\mu )$ ，所以我们以下假设$\mu$是已知且固定的。另外为了叙述方便,我们记$Y_i=$