(本文记录了学习MLE的学习笔记,学习资料为Hogg, McKean og Craig: Chapter 6. Maximum likelihood methods.)
极大似然估计是统计学中,估计参数的一种方法。它的本质思想是,如果一个参数能使得这个样本出现的概率最大,那么我们就选择这个参数作为真实参数的估计值。
假设我们已知某个随机样本满足某种概率分布,但是并不清楚其中的参数具体为多少。为了估计出这个参数的值,我们进行多次试验,最后根据试验的结果估计出参数的值。
接下来,我们对极大似然估计进行理论上的分析。
Likelihood Function
首先,我们假设 X 1 , . . . , X n X_1,...,X_n X1,...,Xn 是独立同分布随机变量,概率密度函数为为 f ( x ; θ ) f(x;\theta) f(x;θ), θ ∈ Ω \theta\in\Omega θ∈Ω. 那么似然方程可以表示为, L ( θ ; x ) = ∏ i = 1 n f ( x i ; θ ) , θ ∈ Ω L(\theta;\mathbf{x})=\displaystyle{\prod \limits_{i=1}^n}f(x_i;\theta), \theta\in\Omega L(θ;x)=i=1∏nf(xi;θ),θ∈Ω方程中 x = ( x 1 , . . . , x n ) ′ \mathbf{x}=(x_1,...,x_n)' x=(x1,...,xn)′。因为 L L L 是关于 θ \theta θ 的函数,所以我们也可以表示为 L ( θ ) L(\theta) L(θ)。此函数的对数,其实更为常用,于是我们定义对数似然方程,
l ( θ ) = log L ( θ ) = ∑ i = 1 n log f ( x i ; θ ) , θ ∈ Ω l(\theta)=\log L(\theta)=\displaystyle{\sum\limits_{i=1}^n}\log f(x_i;\theta), \theta\in\Omega l(θ)=logL(θ)=i=1∑nlogf(xi;θ),θ∈Ω
Regularity Conditions
定义 θ 0 \theta_0 θ0 表示为参数 θ \theta θ 真正的值。现在我们进行一些假设,这些假设通常称为 Regularity Conditions,
R 0 \mathbf{R0} R0:概率密度函数是唯一的。这意味着, θ ≠ θ ′ ⇒ f ( x i ; θ ) ≠ f ( x i ; θ ′ ) \theta\neq\theta'\Rightarrow f(x_i;\theta)\neq f(x_i;\theta') θ=θ′⇒f(xi;θ)=f(xi;θ′)。
R 1 \mathbf{R1} R1:概率密度函数满足所有 θ \theta θ。
R 2 \mathbf{R2} R2: Ω \Omega Ω包含 θ \theta θ。
根据这三条假设,我们可以定义 MLE。
Maximum Likelihood Estimation
Principle
定理 6.1.1:令 θ 0 \theta_0 θ0 是参数真实值,在假设(R0)-(R2)下,
lim n → ∞ P θ 0 [ L ( θ 0 , X ) > L ( θ , X ) ] = 1 , f o r a l l θ ≠ θ 0 \lim_{n\rightarrow\infty}P_{\theta_0}[L(\theta_0,\mathbf{X})>L(\theta,\mathbf{X})]=1,\quad for\;all\;\theta\neq\theta_0 n→∞limPθ0[L(θ0,X)>L(θ,X)]=1,forallθ=θ0定理6.1.1表明了渐近似然函数在真实值 θ 0 \theta_0 θ0 处最大。所以我们接下来可以很自然的考虑可以最大化似然函数的 θ \theta θ。
定义 6.1.1:如果 θ ^ = A r g m a x L ( θ ; X ) \hat{\theta}=Argmax L(\theta;\mathbf{X}) θ^=ArgmaxL(θ;X)那么我们称 θ ^ = θ ^ ( X ) \hat{\theta}=\hat{\theta}(\mathbf{X}) θ^=θ^(X) 是 θ \theta θ 的极大似然估计。
我们想要求解使方程最大的 θ \theta θ 值,就是使导数为0,
l ′ ( θ ; x ) = 1 n ∑ i = 1 n ∂ log f ( x i ; θ ) ∂ θ = 0 l'(\theta;x)=\dfrac{1}{n}\displaystyle{\sum\limits_{i=1}^n\dfrac{\partial\log f(x_i;\theta)}{\partial\theta}}=0 l′(θ;x)=n1i=1∑n∂θ∂logf(xi;θ)=0然而实际上我们不能确定极大似然估计一定存在,或者只有唯一解。
Consistency of the MLE
定理 6.1.3:令 θ 0 \theta_0 θ0 是参数真实值,且 X 1 , . . . , X n X_1,...,X_n X1,...,Xn 满足(R0)-(R2)。同时 f ( x ; θ ) f(x;\theta) f(x;θ) 对 θ ∈ Ω \theta\in\Omega θ∈Ω 可微。那么似然方程,
∂ ∂ θ L ( θ ) = 0 o r ∂ ∂ θ l ( θ ) = 0 \dfrac{\partial}{\pa