经验似然方法

---

简单介绍

---

经验似然是一种非参数极大似然方法，而且是一种带限制条件的的非参数似然，在一般的正则条件下，有比较好的统计性质，例如：用经验似然方法构造的置信区间或置信域有域保持性，变换不变性，置信域的形状由数据自行决定，Bartlett纠偏性（可以将置信区间的覆盖率误差的收敛速度提高到$O(n^{-2})$），以及无需构造轴统计量等优点。

---

一、经验分布

设$X_1$, $X_2$, …, $X_n$ 是服从分布 $F_0$ 的 iid 样本，则经验分布为
$$F_n=\frac{1}{n}\sum _{i=1}^{n}I(X_i\le x),$$
其中，$I(\cdot )$表示示性函数。
利用极大似然方法，则经验似然函数为
$$L(\mathbf{\theta })=\left\{\prod _{i=1}^n{p}_i:p_i\ge 0,\sum _{i=1}^n{p}_i=1\right\}。$$
则对样本$X_1,...,X_n$，使 ${\prod }_{i=1}^n{p}_i$ 达到最大，必有 ${\hat{p}}_i=\frac{1}{n}$.
因此，在简单样本下，经验分布函数 $F_n$ 是分布函数 $F_0$ 的非参数极大似然估计。

二、经验似然求解过程

设$X_1$, $X_2$, …, $X_n$ 是 iid 随机变量，其分布为 $F(\mathbf{\theta })$，$\mathbf{\theta }$ 的维度为 $p$。假设关于 $F$ 和 $\mathbf{\theta }$ 的信息有 $r(r\ge p)$ 个独立的无偏估计函数 $\mathbf{\psi }(\mathbf{x},\mathbf{\theta })$ 使得 $$E_F\mathbf{\psi }(\mathbf{X},\mathbf{\theta })=0。$$
利用极大似然估计的想法，极大化如下目标函数：
$$L(F)=\prod _{i=1}^{n}dF(x_i)=\prod _{i=1}^n{p}_i$$
其中，$p_i = dF(x_i) = P(X_i = x_i)，且满足
$$p_i\ge 0,\sum _{i=1}^n{p}_i=1,\sum _{i=1}^n{p}_i\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta })=0。$$

因此，log经验似然函数为
$$L(\mathbf{\theta })=\left\{\prod _{i=1}^n{p}_i:p_i\ge 0,\sum _{i=1}^n{p}_i=1,\sum _{i=1}^n{p}_i\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta })=0\right\}。$$
因此，极大化上述经验似然，可得$\mathbf{\theta }$ 的经验极大似然估计，即$$\hat{\mathbf{\theta }}=\underset{\mathbf{\theta }}{\mathrm{argmax}}L(\mathbf{\theta })。$$
采用拉格朗日乘子法解上述问题，有
$$H_n=\sum _{i=1}^n\log p_i-\eta (1-\sum _{i=1}^n{p}_i)-n{\mathbf{\lambda }}^T\sum _{i=1}^n{p}_i\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta }),$$
其中，$\eta$ 和 $\mathbf{\lambda }$ 为拉格朗日乘子。对$p_i$求导，得分函数为
$$0=S_i=\frac{\partial H_n}{\partial p_i}=\frac{1}{p_i}-\eta -n{\mathbf{\lambda }}^T\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta }),$$
等式两边同时乘以$p_i$，得
$$1-\eta p_i-n{p}_i{\mathbf{\lambda }}^{\mathbf{T}}\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta })=0。$$
由于对每一$p_i$，上式均成立。因此，
$$n-\eta \sum _{i=1}^n{p}_i-n{\mathbf{\lambda }}^T\sum _{i=1}^n{p}_i\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta })=0$$
也成立。结合经验似然函数得条件，可求得 $\eta$ 的经验极大似然估计为 $$\hat{\eta }=n。$$
将$\hat{\eta }=n$ 代入得分函数中，有
$$\frac{1}{p_i}-n-n{\mathbf{\lambda }}^T\mathbf{\psi }({\mathbf{x}}_{\mathbf{i}},\mathbf{\theta })=0，$$
解上式，得$p_i$ 的经验极大似然估计为 p ^ i = 1 n { 1 + λ T ψ ( x i , θ ) } 。 \hat{p}_i = \frac{1}{n \{1+\boldsymbol{\lambda}^T\boldsymbol{\psi(x_i, \theta)}\}}。 p^​i​=n{1+λTψ(xi​,θ)}1​。
将$\widehat{p_i}$代入log似然函数中，有
H n = ∑ i = 1 n log ⁡ 1 n { 1 + λ T ψ ( x i , θ ) } H_n = \sum_{i=1}^n\log \frac{1}{n \{1+\boldsymbol{\lambda}^T\boldsymbol{\psi(x_i, \theta)}\}} Hn​=i=1∑n​logn{1+λTψ(xi​,θ)}1​
关于$\mathbf{\lambda }$求导，
∂ H n ∂ λ = ∑ i = 1 n ψ ( x i , θ ) } { 1 + λ T ψ ( x i , θ ) } = 0 ， \frac{\partial H_n}{\partial \boldsymbol{\lambda}} = \sum_{i=1}^n\frac{\boldsymbol{\psi(x_i, \theta)}\}}{\{1+\boldsymbol{\lambda}^T\boldsymbol{\psi(x_i, \theta)}\}}=0， ∂λ∂Hn​​=i=1∑n​{1+λTψ(xi​,θ)}ψ(xi​,θ)}​=0，
解上式，得$\mathbf{\lambda }$ 的经验极大似然估计为$\hat{\mathbf{\lambda }}$。

总结

上文就是经验似然求解的基本过程。

[1] 周勇著. 广义估计方程估计方法[M]. 北京：科学出版社, 2013.08.