经验似然课程笔记三:经验似然的基本思想

经验似然的基本思想

回顾一下

经验似然方法不假设参数分布,直接把分布函数$F$当做参数,其似然函数是 L ( F ) = ∏ i = 1 n { F ( X i + ) − F ( X i − ) } = ∏ i = 1 n d F ( X i ) L(F)=\mathop{\prod}\limits_{i=1}^n\{F(X_i+)-F(X_i-)\}=\mathop{\prod}\limits_{i=1}^ndF(X_i) L(F)=i=1∏n​{ F(Xi​+)−F(Xi​−)}=i=1∏n​dF(Xi​)
为了方便,通常记 $p_i=dF(X_i)$. 上述似然和对数似然可以表示为
$$L(F)=\prod _{i=1}^n{p}_i,l(F)=\sum _{i=1}^{n}log(p_i)$$
注意,这里的参数$p_i$应满足: $0\le p_i\le 1,\sum _{i=1}^n{p}_i\le \int dF(x)=1$

分布函数的最大经验似然估计

根据几何平均不大于算数平均,可知
$$L(F)=\prod _{i=1}^n{p}_i\le (\frac{1}{n}\sum _{i=1}^n{p}_i{)}^n\le n^{-n}$$
当且仅当$p_i=1/n$时等号成立.
所以最大化$L(F)$的分布是经验分布
$$F_n(x)=\frac{1}{n}\sum _{i=1}^{n}1(X_i\le x)$$
其中$X_i\le x$表示$X_i$的各分量分别小于$x$的各分量.

即,经验分布$F_n$是$F$的极大经验似然估计. 这套非参数方法被称作经验似然.

---

注意到,如果$F$在$X_1,X_2,...,X_n$任何一处连续,那么$L(F)=0$
如果$\sum _{i=1}^n{p}_i<1$,那么取
$$p_i^{\ast }=p_i/\sum _{i=1}^n{p}_i,i=1,..,n$$
容易看到$\sum _{i=1}^n{p}_i^{\ast }=1$,且$p_i^{\ast }$的经验似然大于$p_i$的经验似然。根据似然越大参数越靠谱的原则,这类$p_i$不需要再考虑.

这意味着以后我们不防要求$F$满足$\sum _{i=1}^n{p}_i=1$，或者等价的$F<<F_n$,也等价于假设 $F(x)={\sum }_{i=1}^n{p}_i$