极大似然估计

极大似然估计法（Maximum likelihood estimation，MLE）

是一种参数估计方法

例子1

两个猎人同时对同一只野兔开了一枪，野兔被打中，问是被谁打中的？

这里的被谁打中就是一个参数，需要去估计

极大似然估计就是根据最大概率的原则去估计这个参数

也就是求出使得发生这件事的概率最大的那个参数值

例子2

假设一个袋子里面有90%的一种颜色的球，10%的另一种颜色的球

有放回地摸了100次球，结果摸到82个白球，18个黑球

问，哪种颜色的球占90%？

很明显白球占90%的可能性最大

例子3

假设袋子里有若干白球和黑球

有放回的摸了100次，结果摸到90次白球，10次黑球

要求用极大似然估计方法来估计一下袋中球的比例

设白球的比例为p，黑球1-p

则出现当前这种情况的概率为：

$L=p^{90}(1-p)^{10}$

则需要使得：$\max\limits_pL$

等价于：$\max\limits_p\ln L=\max\limits_p 90\ln p+10\ln(1-p)$

对$\ln L$求导：

$\dfrac{d\ln L}{d p}=\dfrac{1}{L}(\dfrac{90}{p}-\dfrac{10}{1-p})=0\\解得p=0.9$

因此根据极大似然法则可以求得参数p为0.9

求解步骤

1. 写出似然函数L
2. 求$\ln L$,目的是把乘法变成加法，便于求导
3. 求导
4. 令导数为零，解似然方程，就求出参数了