极大似然估计

作者：xingoo
出处：http://www.cnblogs.com/xing901022
本文版权归作者和博客园共有。欢迎转载，但必须保留此段声明，且在文章页面明显位置给出原文连接

极大似然估计，又名最可能估计。通俗理解就是，一次试验就发生的事件，这个事件本身发生概率最大。
抽象一点理解为，如果事件发生是关于θ 参数的，如果一次事件发生时，样本为x1,…xk,那么θ^(x1,…xk)就是θ的估计值。当θ=θ ^(x1,…xk)时，当前样本发生的概率最大。
极大似然估计的计算分为两类：
一、总体X为离散型
假设分布率为P=p(x;θ)，x是发生的样本，θ是代估计的参数，p(x;θ)表示估计参数为θ时，发生x的的概率。
那么当我们的样本值为：x1,x2,…,xn时，

    L(θ)=L(x1,x2,...,xn;θ)=∏p(xi;θ)

其中L(θ)成为样本的似然函数。

假设L(x1,x2,…,xn;θ^)=maxL(x1,x2,…,xn;θ)

有 θ^使得 L(θ) 的取值最大，那么 θ^就叫做参数 θ 的极大似然估计值。

二、总体X为连续型
基本和上面类似，只是概率密度为f(x;θ)，替代p。
解法：

1、 构造似然函数L(θ)
2、取对数：lnL(θ)
3、求导，计算极值
4、解方程，得到θ

解释一下，其他的步骤很好理解，第二步取对数是为什么呢？

因为根据前面你的似然函数公式，是一堆的数字相乘，这种算法求导会非常麻烦，而取对数是一种很方便的手段：

由于ln对数属于单调递增函数，因此不会改变极值点
由于对数的计算法则：lnab=blna、lnab=lna+lnb ，求导就很方便了