本篇笔记内容来源
数理统计学导论(原书第7版) 机械工业出版社
问题
随机变量 X X X 的 p d f pdf pdf 的形式为 f ( x ; θ ) f(x;\theta) f(x;θ) ,其中 θ ∈ Ω \theta\in\Omega θ∈Ω , Ω \Omega Ω 是一个特定的集合. 由于参数 θ \theta θ 是未知的,我们想要对它进行估计.
极大似然估计量
源自 X X X 的随机样本的分布与 X X X 相同
随机样本的联合分布包含了样本信息与参数 θ \theta θ ,即
L ( θ ) = ∏ i = 1 n f ( x i ; θ ) L(\theta)=\prod^n_{i=1}f(x_i;\theta) L(θ)=i=1∏nf(xi;θ)
此函数称为随机样本的似然函数(likelihood function)
通常使用的估计值是使 L ( θ ) L(\theta) L(θ) 达到极大值的 θ \theta θ 值. 如果它是唯一的,那么称此值为极大似然估计量(mle),表示为
θ ^ = A r g max L ( θ ) \hat{\theta}=Arg\max L(\theta) θ^=ArgmaxL(θ)
应用方面
在应用中,通常使用似然函数的对数形式进行研究更容易,即
l ( θ ) = log L ( θ ) l(\theta)=\log L(\theta) l(θ)=logL(θ)
(感觉只是因为 L ( θ ) L(\theta) L(θ) 是多个相同的 f f f 的乘积,用对数处理能把指数拿下来)
由于对数函数是严格递增的,所以当 l ( θ ) l(\theta) l(θ) 取极大时, L ( θ ) L(\theta) L(θ) 也取极大.
例
假定随机样本 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn 的共同分布是 Γ ( 1 , θ ) \Gamma(1,\theta) Γ(1,θ)
则其似然函数的对数是
l ( θ ) = log ∏ i = 1 n 1 θ e − x i θ = log [ θ − n e x p { − ∑ i = 1 n x i θ } ] = − n log θ − θ − 1 ∑ i = 1 n x i \begin{align*} l(\theta)&=\log\prod^n_{i=1}\frac{1}{\theta}e^{-\frac{x_i}{\theta}}\\ &=\log[\theta^{-n}exp\{-\frac{\sum^n_{i=1}x_i}{\theta}\}]\\ &=-n\log\theta-\theta^{-1}\sum^n_{i=1}x_i \end{align*} l(θ)=logi=1∏nθ1e−θxi=log[θ−nexp{−θ∑i=1nxi}]=−nlogθ−θ−1i=1∑nxi
对 θ \theta θ 求偏导
∂ l ( θ ) ∂ θ = − n θ + ∑ i = 1 n x i θ 2 \frac{\partial l(\theta)}{\partial\theta}=-\frac{n}{\theta} +\frac{\sum^n_{i=1}x_i}{\theta^2} ∂θ∂l(θ)=−θn+θ2∑i=1nxi
令这个偏导数为零,便得到 θ ^ = 1 n ∑ i = 1 n x i = x ‾ \hat{\theta}=\frac{1}{n}\sum^n_{i=1}x_i=\overline{x} θ^=n1∑i=1nxi=x
此外,二阶偏导数在 x ‾ \overline{x} x 处为严格负的,所以 x ‾ \overline{x} x 为极大值点
因此,统计量 θ ^ = X ‾ \hat{\theta}=\overline{X} θ^=X 是 θ \theta θ 的极大似然估计量