关于极大似然估计的总结

一篇写的更好的博客，可以参考

 

1.直观想法：

        一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为出现的概率P(A)较大。

        举例：设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。

        一般说来，事件A发生的概率与某一未知参数有关，取值不同，则事件A发生的概率也不同，当我们在一次试验中事件A发生了，则认为此时的值应是t的一切可能取值中使达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。

         最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

 

2.原理：

        极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

 

3.最大似然估计法的计算步骤：

（1）写出样本观测值的概率，即样本似然函数

对于离散型随机变量：

对于连续型随机变量：

 

（2）利用导数求解似然函数的最大值:

 

补充：https://blog.csdn.net/lwq1026/article/details/70161857

似然函数

在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。

 

似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。

 

概率 用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而

似然性 则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

 

在这种意义上，似然函数可以理解为条件概率的逆反。

 

在已知某个参数B时，事件A会发生的概率写作。

利用贝叶斯定理，

因此，我们可以反过来构造表示似然性的方法：已知有事件A发生，运用似然函数，我们估计参数B的可能性。

形式上，似然函数也是一种条件概率函数，但我们关注的变量改变了：

 

注意到这里并不要求似然函数满足归一性：。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有α > 0，都可以有似然函数：