极大似然估计方法

（本文记录了学习MLE的学习笔记，学习资料为Hogg, McKean og Craig: Chapter 6. Maximum likelihood methods.）

极大似然估计是统计学中，估计参数的一种方法。它的本质思想是，如果一个参数能使得这个样本出现的概率最大，那么我们就选择这个参数作为真实参数的估计值。
假设我们已知某个随机样本满足某种概率分布，但是并不清楚其中的参数具体为多少。为了估计出这个参数的值，我们进行多次试验，最后根据试验的结果估计出参数的值。
接下来，我们对极大似然估计进行理论上的分析。

Likelihood Function

首先，我们假设 $X_1,...,X_n$ 是独立同分布随机变量，概率密度函数为为 $f(x;\theta )$，$\theta \in \Omega$. 那么似然方程可以表示为，$$L(\theta ;\mathbf{x})=\prod _{i=1}^{n}f(x_i;\theta ),\theta \in \Omega$$方程中 $\mathbf{x}=(x_1,...,x_n{)}^{\prime }$。因为 $L$ 是关于 $\theta$ 的函数，所以我们也可以表示为 $L(\theta )$。此函数的对数，其实更为常用，于是我们定义对数似然方程，
$$l(\theta )=\log L(\theta )=\sum _{i=1}^n\log f(x_i;\theta ),\theta \in \Omega$$

Regularity Conditions

定义${\theta }_0$ 表示为参数 $\theta$ 真正的值。现在我们进行一些假设，这些假设通常称为 Regularity Conditions，
$\mathbf{R}0$：概率密度函数是唯一的。这意味着，$\theta \ne {\theta }^{\prime }\Rightarrow f(x_i;\theta )\ne f(x_i;{\theta }^{\prime })$。
$\mathbf{R}1$：概率密度函数满足所有$\theta$。
$\mathbf{R}2$：$\Omega$包含$\theta$。
根据这三条假设，我们可以定义 MLE。

Maximum Likelihood Estimation

Principle

定理 6.1.1：令 ${\theta }_0$ 是参数真实值，在假设（R0）-（R2）下，
$$\underset{n\to \infty }{\lim }{P}_{{\theta }_0}[L({\theta }_0,\mathbf{X})>L(\theta ,\mathbf{X})]=1,forall\theta \ne {\theta }_0$$定理6.1.1表明了渐近似然函数在真实值 ${\theta }_0$ 处最大。所以我们接下来可以很自然的考虑可以最大化似然函数的 $\theta$。

定义 6.1.1：如果$$\hat{\theta }=ArgmaxL(\theta ;\mathbf{X})$$那么我们称 $\hat{\theta }=\hat{\theta }(\mathbf{X})$ 是 $\theta$ 的极大似然估计。

我们想要求解使方程最大的 $\theta$ 值，就是使导数为0，
$$l^{\prime }(\theta ;x)=\frac{1}{n}\sum _{i=1}^n\frac{\partial \log f(x_i;\theta )}{\partial \theta }=0$$然而实际上我们不能确定极大似然估计一定存在，或者只有唯一解。

Consistency of the MLE

定理 6.1.3：令 ${\theta }_0$ 是参数真实值，且 $X_1,...,X_n$ 满足（R0）-（R2）。同时 $f(x;\theta )$ 对 $\theta \in \Omega$ 可微。那么似然方程,
∂ ∂ θ L ( θ ) = 0 o r ∂ ∂ θ l ( θ ) = 0 \dfrac{\partial}{\pa