极大似然估计

似然函数是一种关于统计模型参数的函数。

给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：

极大似然估计

编辑

它是建立在极大似然原理的基础上的一个 统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数

   

有关，

   

取值不同，则事件A发生的概率

   

也不同，当我们在一次试验中事件A发生了，则认为此时的

   

值应是t的一切可能取值中使

   

达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。  [1]  

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种 概率分布，但是其中具体的参数不清楚， 参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

当然极大似然估计只是一种粗略的 数学期望，要知道它的误差大小还要做区间估计。

求解步骤

编辑

1.求极大似然函数估计值的一般步骤：

（1） 写出 似然函数；

（2） 对似然函数取对数，并整理；

（3） 求 导数 ；

（4） 解似然方程 。

2.利用高等数学中求 多元函数的极值的方法，有以下极大似然估计法的具体做法：

(1)根据总体的分布，建立 似然函数 

 

;

(2) 当 L 关于 

 

可微时，(由微积分求极值的原理）可由方程组

 

:

定出

   

，称以上方程组为似然方程.

因为 L 与 

 

有相同的极大值点，所以

   

也可由方程组

定出 

 

，称以上方程组为对数似然方程；

   

就是所求参数

   

的极大似然估计量。

当总体是离散型的，将上面的 概率密度函数

   

，换成它的分布律

   

.  [2]  

极大似然估计

编辑

1.若总体X为离散型，其概率分布列为

其中

   

为为未知参数。设

   

是取自总体的样本容量为n的样本，则

   

的联合分布律为

   

。又设

   

的一组观测值为

   

，易知样本

   

取到观测值

   

的概率为

这一概率随

   

的取值而变化，它是

   

的函数，称

   

为样本的 似然函数。

2.若总体X为连续型，其概率密度函数为

   

，其中

   

为未知参数。设

   

是取自总体的样本容量为n的简单样本，则

   

的联合概率密度函数为

   

。又设

   

的一组观测值为

   

，则随机点

   

落在点

   

的邻边（边长分别为

   

的n维立方体）内的概率近似地为

   

。

考虑函数

同样，

   

称为样本的 似然函数。

极大似然估计法原理就是固定样本观测值

   

，挑选参数

   

使

这样得到的

   

与样本值有关，

   

称为参数

   

的 极大似然估计值，其相应的统计量

   

称为

   

的 极大似然估计量。极大似然估计简记为MLE或

   

。

问题是如何把参数

   

的极大似然估计

   

求出。更多场合是利用

   

是

   

的增函数，故

   

与

   

在同一点处达到最大值，于是对似然函数

   

取对数，利用微分学知识转化为求解对数似然方程

 

 

解此方程并对解做进一步的判断。但由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点，就可以很到参数的极大似然估计。极大似然估计法一般属于这种情况，所以可以直接按上述步骤求极大似然估计。

－－来自百度百科