极大似然估计

一、极大似然估计原理

利用已知的样本结果，反推最有可能导致这样结果的参数值，也就是观察哪个参数值能够使样本出现的概率为最大，即：“模型已定，参数未知”。

记已知的样本集为：，

似然函数：联合概率密度函数，称为相对于D的θ的似然函数，即：。

如果是参数空间中能使似然函数最大的θ值，那么就是θ的极大似然估计量，即：

 

 

二、极大似然估计求解过程如下：

（1）写出似然函数；

（2）对似然函数取对数，并整理；（多项式乘积求导不容易，因此取对数）

（3）求导数；

（4）解似然方程。

 

 

三、案例

设样本服从正态分布，

（1）联合概率密度函数，即似然函数为：，

 

（2）求对数：，

 

（3）求导，得到方程组：，

 

（4）解方程组，得：，

似然方程有唯一解，而且它一定是最大值点，于是U和的极大似然估计为：。