极大似然估计——简述

一、概念

极大似然估计，也就是说在模型分布已知的情况下，观察有限的样本信息，反推出最有可能（最大概率）导致该样本出现的模型参数值，即“模型已知，参数未知”。

假设某一模型满足正态分布

我们可以通过极大似然估计，估计出和两个参数值，接着就可以使用正态分布的相关特性。

二、举例

假如有一个袋子，袋子中有白、黑两种颜色的球，不知道里面的数量和比例，但又不能全部倒出来去数。

现在我们可以这样，我们采取100次有放回的抽样（样本独立同分布），每次抽出来记录它的颜色，用来估计袋子中的白黑球的比例。假设前面一百次抽样，共抽取白色球70次，黑色球30次，请问袋子中的白黑色球的比例是多少？

很多人这个时候已经有了答案：白色：黑色 = 7:3，但是其中的原理是什么呢？

由于是两种颜色的球，不是黑便是白，故假设抽到白球的概率为p，抽到黑球的概率为1-p，对于袋子中样本，模型M，模型参数为，采取有放回的抽样（保证独立同分布），100次抽样中抽到70次白球和30次黑球的概率是。联合密度函数称为相对于D的的似然函数

三、 求解极大似然函数

求导数解似然函数，求得使得最大

四、 总结

求最大似然估计量的一般步骤：

        （1）写出似然函数；

        （2）对似然函数取对数，并整理；

        （3）求导数；

        （4）解似然方程。

        极大似然估计的特点：

        （1）比其他估计方法更加简单；

        （2）收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

        （3）如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。

 

注：以上内容属个人理解，学艺不精，请各位大神多多指教