一、概念
极大似然估计,也就是说在模型分布已知的情况下,观察有限的样本信息,反推出最有可能(最大概率)导致该样本出现的模型参数值,即“模型已知,参数未知”。
假设某一模型满足正态分布
我们可以通过极大似然估计,估计出和两个参数值,接着就可以使用正态分布的相关特性。
二、举例
假如有一个袋子,袋子中有白、黑两种颜色的球,不知道里面的数量和比例,但又不能全部倒出来去数。
现在我们可以这样,我们采取100次有放回的抽样(样本独立同分布),每次抽出来记录它的颜色,用来估计袋子中的白黑球的比例。假设前面一百次抽样,共抽取白色球70次,黑色球30次,请问袋子中的白黑色球的比例是多少?
很多人这个时候已经有了答案:白色:黑色 = 7:3,但是其中的原理是什么呢?
由于是两种颜色的球,不是黑便是白,故假设抽到白球的概率为p,抽到黑球的概率为1-p,对于袋子中样本,模型M,模型参数为,采取有放回的抽样(保证独立同分布),100次抽样中抽到70次白球和30次黑球的概率是。联合密度函数称为相对于D的的似然函数
三、 求解极大似然函数
求导数解似然函数,求得使得最大
四、 总结
求最大似然估计量的一般步骤:
(1)写出似然函数;
(2)对似然函数取对数,并整理;
(3)求导数;
(4)解似然方程。
极大似然估计的特点:
(1)比其他估计方法更加简单;
(2)收敛性:无偏或者渐近无偏,当样本数目增加时,收敛性质会更好;
(3)如果假设的类条件概率模型正确,则通常能获得较好的结果。但如果假设模型出现偏差,将导致非常差的估计结果。
注:以上内容属个人理解,学艺不精,请各位大神多多指教