极大似然估计

原理

    极大似然估计是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。

   极大似然原理的直观想法我们用下面例子说明：

   设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。

   一般说来，事件A发生的概率与某一未知参数  有关，  取值不同，则事件A发生的概率  也不同，当我们在一次试验中事件A发生了，则认为此时的  值应是t的一切可能取值中使  达到最大的那一个。

   总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

   极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

似然函数

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：

似然函数（linkehood function）：联合概率密度函数称为相对于的θ的似然函数。

如果是参数空间中能使似然函数最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。它是样本集的函数，记作：

 

求解极大似然函数

求最大似然估计量的一般步骤：

        （1）写出似然函数；

        （2）对似然函数取对数，并整理；

        （3）求导数；

        （4）解似然方程。

 

求使得出现该组样本的概率最大的θ值：

实际中为了便于分析，定义了对数似然函数：

        1. 未知参数只有一个（θ为标量）

        在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

        2.未知参数有多个（θ为向量）

        则θ可表示为具有S个分量的未知向量：

   记梯度算子：

 若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。