极大似然估计理解与应用

极大似然估计理解与应用

1. 什么是极大似然估计

  在日常生活中，我们很容易无意中就使用到极大似然估计的思想，只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是极大似然估计：

（1）猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？
（2）一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？

  对于第（1）个问题，由于师傅的技术一般比徒弟高，因此我们会猜测兔子是师傅打中的。对于第（2）个问题，对于颜色有90个的球，我们抽中它的概率更大，因此当抽中为黑色球时，我们便会认为90个的是黑色球。
  对于以上两个例子可以看出，我们在进行猜测时，往往认为：概率最大的事件，最可能发生，因此在一次试验中就出现的事件应当具有较大的概率。

---

2. 极大似然原理及数学表示

  极大似然原理是指：若一次试验有 nn 个可能结果 A1,A2,...,AnA1,A2,...,An ，现在我们做一次试验，试验的结果为 AiAi，那么我们就可以认为事件 AiAi 在这个 nn 个可能结果中出现的概率最大。
  极大似然估计是指：在一次抽样中，样本出现的概率是关于参数 θθ 的函数，若在一些试验中，得到观测值 x1,x2,...,xnx1,x2,...,xn ，则我们可以选取 θ̂ (x1,x2,..,xn)θ^(x1,x2,..,xn) 作为 θθ 的估计值，使得当 θ=θ̂ (x1,x2,..,xn)θ=θ^(x1,x2,..,xn) 时，样本出现的概率最大。而极大似然估计就是要求解出参数 θθ 的估计值。可采用极大似然估计法。

---

3. 极大似然估计法(Maximum Likelihood Estimation,MLE)

  （1）若总体 XX 为离散型
    假设分布律为 P{X=x}=p(x;θ)P{X=x}=p(x;θ) ，θθ 为待估计参数，p(x;θ)p(x;θ) 表示估计参数为 θθ 时，发生 xx 的概率。
    那么当样本值为： x1,x2,...,xnx1,x2,...,xn 时，

L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)

    其中 L(θ)L(θ) 称为样本的似然函数。
    若满足：

L(x1,x2,...,xn;θ̂ )=maxθL(x1,x2,...,xn;θ)L(x1,x2,...,xn;θ^)=maxθL(x1,x2,...,xn;θ)

    也就是说，当参数 θ=θ̂ θ=θ^ 时，似然函数可以取最大值，那么 θ̂ θ^ 就叫做参数 θθ 的极大似然估计值。
  （2）若总体 XX 为连续型
    假设概率密度为 f(x;θ)f(x;θ) ，θθ 为待估计参数。
    那么当样本值为： x1,x2,...,xnx1,x2,...,xn 时，

L(θ)=L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)

    其中 L(θ)L(θ) 称为样本的似然函数。
    若满足：

L(x1,x2,...,xn;θ̂ )=maxθL(x1,x2,...,xn;θ)L(x1,x2,...,xn;θ^)=maxθL(x1,x2,...,xn;θ)

    也就是说，当参数 θ=θ̂ θ=θ^ 时，似然函数可以取最大值，那么 θ̂ θ^ 就叫做参数 θθ 的极大似然估计值。

 

---

4. 极大似然估计法求估计值的步骤：

  （1）构造似然函数 L(θ)L(θ) ：
     L(θ)=∏ni=1p(xi;θ)(离散型);L(θ)=∏ni=1f(xi;θ)(连续型)L(θ)=∏i=1np(xi;θ)(离散型);L(θ)=∏i=1nf(xi;θ)(连续型)
  （2）取对数： logL(θ)log⁡L(θ) (以 ee 为底)；
  （3）令 δlogL(θ)δθ=0δlog⁡L(θ)δθ=0 ；
  （4）解似然方程得到 θθ 的极大似然估计值 θ̂ θ^ 。

---

5. 极大似然估计法应用

  （1）假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例。
    求解过程：
    我们定义 MM 为模型，抽到白球的概率为 θθ ，而抽到红球的概率为 1−θ1−θ ，因此10次抽取抽到白球7次红球3次的概率(似然函数)为：

L(θ)=P(x1,x2,...,x10|M)=P(x1|M)×P(x2|M)×...×P(x10|M)=θ7(1−θ)3L(θ)=P(x1,x2,...,x10|M)=P(x1|M)×P(x2|M)×...×P(x10|M)=θ7(1−θ)3

    其对数似然函数为:

logL(θ)=log[θ7(1−θ)3]log⁡L(θ)=log⁡[θ7(1−θ)3]

    求

δlogLog(θ)δθ=0δlog⁡Log(θ)δθ=0

    即

7θ6(1−θ)3−3θ7(1−θ)2=0⟹θ=0.77θ6(1−θ)3−3θ7(1−θ)2=0⟹θ=0.7

    故白球的比例为 0.70.7 。
  （2）设总体 X N(μ,σ2)X N(μ,σ2) ，μ,σ2μ,σ2 为未知参数，x1,x2,...,xnx1,x2,...,xn 是来自 XX 的一个样本值，求 μ,σ2μ,σ2 的极大似然估计值。
    求解过程：
     X的概率密度为：

f(x;μ,σ2)=12π‾‾‾√σe−(x−μ)22σ2f(x;μ,σ2)=12πσe−(x−μ)22σ2

     似然函数为：

L(μ,σ2)=∏i=1n12π‾‾‾√σe−(xi−μ)22σ2L(μ,σ2)=∏i=1n12πσe−(xi−μ)22σ2

     取对数为：

logL(μ,σ2)=−n2log(2π)−n2logσ2−12σ2∑i=1n(xi−μ)2log⁡L(μ,σ2)=−n2log⁡(2π)−n2log⁡σ2−12σ2∑i=1n(xi−μ)2

     令

{δδμlogL(μ,σ2)=0δδσ2logL(μ,σ2)=0{δδμlog⁡L(μ,σ2)=0δδσ2log⁡L(μ,σ2)=0

     即

{1σ2[∑ni=1xi−nμ]=0−n2σ2+12(σ2)2∑ni=1(xi−μ)2=0{1σ2[∑i=1nxi−nμ]=0−n2σ2+12(σ2)2∑i=1n(xi−μ)2=0

    求得参数估计值为：

{μ̂ =1n∑ni=1xi=x⎯⎯⎯σ̂ 2=1n∑ni=1(xi−x⎯⎯⎯)2