1 极大似然估计简介
极大似然估计是在总体类型已知条件下使用的一种参数估计方法 。它首先是由德国数学家高斯在1821年提出的,![1531909-b93838bbe88f9ee8.png](https://i-blog.csdnimg.cn/blog_migrate/4e67ed5079ac6d90401e89fc532e5e7d.webp?x-image-process=image/format,png)
然而,这个方法常归功于英国统计学家费希尔.费希尔在1922年重新发现了这一方法,并首先研究了这种方法的一些性质 。
![1531909-1174ea57206f365f.png](https://i-blog.csdnimg.cn/blog_migrate/ed059968b754e3912df59793a95219f1.webp?x-image-process=image/format,png)
极大似然估计的思想是:选取这样的θ̂,使得当它作为未知参数θ的估计时,观察结果出现的可能性(概率)最大!!
我们看看几个例子:
例1、某位同学与一位猎人一起外出打猎.一只野兔从前方窜过,只听一声枪响,野兔应声倒下。如果要你推测,是谁打中的呢?你会如何想呢?
![1531909-68a99da13dbaa21d.png](https://i-blog.csdnimg.cn/blog_migrate/5ad4c8e378921a1d99d8e1667b99afe5.webp?x-image-process=image/format,png)
你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率, 看来这一枪是猎人射中的。这个例子所作的推断已经体现了极大似然法的基本思想 .
![1531909-c9a642c6615719a4.png](https://i-blog.csdnimg.cn/blog_migrate/f9d6ab145016ea9e4bc3146e7dd5e072.webp?x-image-process=image/format,png)
例2、设袋中有黑白两种球,已知两种球的比例为1:99,但不知道哪种颜色的球多。
若现在从袋中任取一球,发现是白球,试估计袋中白球所占的比例。
例3、设袋中有黑、白球共4个,现有放回地抽取3次,得到2个白球,1个黑球。试问:如何估计袋中的白球数?
解:设袋中的白球数为m(待估),3次抽球中抽得白球的次数为r.v.X。
则 X ~ B (3, p=m /4),
P { X=k }=C3k pk (1-p)3-k, k =0,1,2,3。
![1531909-b94fb40e125d6c3d.png](https://i-blog.csdnimg.cn/blog_migrate/c3d87d3b2ff2512744999135be1c3056.webp?x-image-process=image/format,png)
从上图可以看出,当取中白球个数为2时,其中事件发生概率最大为m=3,即p=3/4时,所有我们有理由认为:
p̂=3/4, m̂=3。
2 极大似然估计原理
设X1, X2 ,…, Xn是取自总体 X 的一个样本,样本的联合概率密度(连续型)或联合概率函数(离散型)为 P (X1,X2,…Xn; θ) 。当给定样本的一组观测值x1, x2 ,…, xn时,定义似然函数为:orient/strip%7CimageView2/2/w/1240)
![1531909-d15f75d807d05643.png](https://i-blog.csdnimg.cn/blog_migrate/2259acffc8d29577af4ccb2dfaa57039.webp?x-image-process=image/format,png)
L(θ)看作参数θ的函数,它可作为θ将以多大可能产生样本值 x1, x2 ,…, xn 的一种度量 ,极大似然估计法就是用使L(θ)达到最大值的θ̂去估计θ。
![1531909-a56758180c3b0534.png](https://i-blog.csdnimg.cn/blog_migrate/b15fe53bb9acc575d2f45e3040fabaee.webp?x-image-process=image/format,png)
称θ̂为θ的极大似然估计(MLE:maximum likelihood estimate)。
3 极大似然估计求解
下面为求极大似然估计(MLE)的一般步骤:
(1) 由总体分布导出样本的联合概率函数 (或联合概率密度);
(2) 把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数θ 看作自变量, 得到似然函数L(θ);
(3) 求似然函数L(θ) 的最大值点(常常转化为求ln L(θ)的最大值点) ,即θ的MLE;
(4) 在最大值点的表达式中, 用样本值代入就得参数的极大似然估计值 .
我们看一个例子:
首先确定样本的联合概率密度函数
![1531909-bb763d60434507d6.png](https://i-blog.csdnimg.cn/blog_migrate/7f709f292b5488d6243ee52b4b5533a2.webp?x-image-process=image/format,png)
推导出似然函数并求极值点
![1531909-a2d15e9930d88e39.png](https://i-blog.csdnimg.cn/blog_migrate/f6da04ddbc8ed4429bf77ed9c2e6fe1f.webp?x-image-process=image/format,png)
求解得出参数估计
![1531909-5b189a8eb294da80.png](https://i-blog.csdnimg.cn/blog_migrate/e839aa2ef94708227ebef13261019591.webp?x-image-process=image/format,png)
这是百度文库上看到关于MLE讲解不错的PPT,看完之后仿佛回到大学上概率论课的情景,努力填坑吧。因为下载下来找不到原链接,侵删。