![6ab5c278cca0a5ea571acdbfa55ac487.png](https://i-blog.csdnimg.cn/blog_migrate/854f46b5050e0e8762f7d8cb58a88884.jpeg)
一、什么是极大似然估计
极大似然估计是一种参数估计的方法。它要解决这样一个问题:给定一组数据和一个参数待定的模型,如何确定模型的参数,使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。
通俗的来说,就是利用已知的样本结果信息,反推最有可能(最大概率)导致这些样本结果出现的模型参数值!
换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。
例如,当其他条件一样时,抽烟者患肺癌的概率是不抽烟者的5 倍,那么当我们已知现在有个人是肺癌患者,问这个人是抽烟还是不抽烟?大多数人都会选择抽烟,因为这个答案是“最有可能”得到“肺癌”这样的结果。
二、为什么要有参数估计
当模型已定,但是参数未知时。
例如我们知道全国人民的身高服从正态分布,这样就可以通过采样,观察其结果,然后再用样本数据的结果推出正态分布的均值与方差的大概率值,就可以得到全国人民的身高分布的函数。
三、为什么要使似然函数取最大
极大似然估计是频率学派最经典的方法之一,认为真实发生的结果的概率应该是最大的,那么相应的参数,也应该是能让这个状态发生的概率最大的参数。
四、例子
极大似然估计中采样需满足一个重要的假设,就是所有的采样都是独立同分布的。
别人博客的一个例子。
假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少?
很多人马上就有答案了:70%。而其后的理论支撑是什么呢?
我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜色服从同一独立分布。
这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的,三十次为黑球事件的概率是P(样本结果|Model)。
如果第一次抽象的结果记为x1,第二次抽样的结果记为x2....那么样本结果为(x1,x2.....,x100)。这样,我们可以得到如下表达式:
P(样本结果|Model)
=P(x1,x2,…,x100|Model)
=P(x1|Mel)P(x2|M)…P(x100|M)
= p^70(1-p)^30.
好的,我们已经有了观察样本结果出现的概率表达式了。那么我们要求的模型的参数,也就是求的式中的p。
那么我们怎么来求这个p呢?按照什么标准来求这个p呢?
不同的p,直接导致P(样本结果|Model)的不同。好的,我们的p实际上是有无数多种分布的。如下:
![4f62e0f8834d58d19100f6f586deed30.png](https://i-blog.csdnimg.cn/blog_migrate/45f0629f1889d641b7fe3f337df1896f.png)
那么在上面p的分布条件下求出 p^70(1-p)^30为 7.8 * 10^(-31)
p的分布也可以是如下:
![cd09672b658a2bfc3910ac7aab3c1805.png](https://i-blog.csdnimg.cn/blog_migrate/4109c0d45307e04fc6fb864c010adeb6.png)
那么也可以求出p^70(1-p)^30为2.95* 10^(-27)
那么问题来了,既然有无数种分布可以选择,极大似然估计应该按照什么原则去选取这个分布呢?
采取的方法是让这个样本结果出现的可能性最大,也就是使得p^70(1-p)^30值最大,那么我们就可以看成是p的方程,求导即可!
那么既然事情已经发生了,为什么不让这个出现的结果的可能性最大呢?使得发生的样本出现的可能性最大。这就是最大似然估计的核心。
我们想办法让观察样本出现的概率最大,转换为数学问题就是使得:
p^70(1-p)^30最大,这太简单了,未知数只有一个p,我们令其导数为0,即可求出p为70%,与我们一开始认为的70%是一致的。其中蕴含着我们的数学思想在里面。
五、极大似然估计的局限性
在极大似然法中,由于只考虑了由一个模型产生一个已知数据的概率,而没有考虑模型本身的概率,尤其是在数据量比较小的时候,误差就会比较大,估计的结果难以让人信服。而这个时候,就应该用到贝叶斯方法了。
六、参考文献
[1] 最大似然估计的学习 -growoldwith_you的博客 - 博客频道 - http://CSDN.NET
[2] 简述极大似然估计
[3] 零基础学习极大似然估计