经验似然课程笔记五: 经验似然的有限样本性质

这篇文章主要对给定$n$个样本后,做经验似然推断时的一些细节做出补充和说明.

1.结点问题

所谓的结点就是指给定的$n$个观察值中有些样本点取值相同，比如$1,1,2,3$这种观测到了2个取值1的点,也就是存在结点.

在前几篇文章中,定义经验似然时我们并没有考虑样本中出现结点对推断结果是否有影响.
其实,利用经验进行推断时,是不需要考虑数据中是否存在结点的:

假设样本可以重新根据取值重新标记:
{ Y i j , i = 1 , . . , k ; j = 1 , . . , n i } \{Y_{ij},i=1,..,k;j=1,..,n_i\} { Yij​,i=1,..,k;j=1,..,ni​}
其中所有的$Y_{ij},j=1,..,n_i$取值相同为$Y_i$,并且当$i\ne j$时,$Y_i\ne Y_j$, 且$\sum _{i=1}^n{n}_i=n.$

若考虑结点:
L 1 ( μ ) = sup ⁡ { ∏ i = 1 k p i n i : p i ≥ 0 , ∑ i = 1 k p i = 1 , ∑ i = 1 k p i ( Y i − μ ) = 0 } L_1(\mu)=\sup\{\prod\limits_{i=1}^kp_i^{n_i}:p_i\ge0,\sum\limits_{i=1}^kp_i=1,\sum\limits_{i=1}^kp_i(Y_i-\mu)=0\} L1​(μ)=sup{ i=1∏k​pini​​:pi​≥0,i=1∑k​pi​=1,i=1∑k​pi​(Yi​−μ)=0}

同样的，将$\prod _{i=1}^k{p}_i^{n_i}$仍旧看成是$n$个元素的乘积, 根据几何均值$\le$算数均值,可知$\underset{\mu }{\sup }{L}_1(\mu )=\prod _{i=1}^k(n_i/n{)}^{n_i}$.

所以经验似然比 R 1 ( μ ) = L 1 ( μ ) sup ⁡ μ L 1 ( μ ) = L 1 ( μ ) ∏ i = 1 k ( n i / n ) − n i = sup ⁡ { n n ∏ i = 1 k ( p i / n i ) n i : p i ≥ 0 , ∑ i = 1 k p i = 1 , ∑ i = 1 k p i ( Y i − μ ) = 0 } . R_1(\mu)=\frac{L_1(\mu)}{\sup\limits_{\mu}L_1(\mu)}=L_1(\mu)\prod\limits_{i=1}^k(n_i/n