文章目录
一、什么是极大似然估计?
1.首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:
2.在日常生活中,我们很容易无意中就使用到极大似然估计的思想,只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是极大似然估计:
- (1)猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的?
- (2)一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个,随机取出一个球,发现是黑球。那么是黑色球90个?还是白色球90个?
- 对于第(1)个问题,由于师傅的技术一般比徒弟高,因此我们会猜测兔子是师傅打中的。对于第(2)个问题,对于颜色有90个的球,我们抽中它的概率更大,因此当抽中为黑色球时,我们便会认为90个的是黑色球。
- 对于以上两个例子可以看出,我们在进行猜测时,往往认为:概率最大的事件,最可能发生,因此在一次试验中就出现的事件应当具有较大的概率。
二、极大似然原理及数学表示
1.极大似然原理
- 总结起来,最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。
- 原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计
2.极大似然估计
在一次抽样中,样本出现的概率是关于参数 θ 的函数,若在一些试验中,得到观测值 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn,则我们可以选取θ^ ( x 1 , x 2 , . . . , x n ) (x_1,x_2,...,x_n) (x1,x2,...,xn),作为 θ 的估计值,使得当 θ=θ^ ( x 1 , x 2 , . . . , x n ) (x_1,x_2,...,x_n) (x1,x2,...,xn)时,样本出现的概率最大。而极大似然估计就是要求解出参数 θ 的估计值。可采用极大似然估计法。
三、极大似然估计法(Maximum Likelihood Estimation,MLE)
(1)若总体 X 为离散型
(2)若总体 X 为连续型
四、 极大似然估计法求估计值的步骤:
五、极大似然估计法应用
(1)假设一个袋子装有白球与红球,比例未知,现在抽取10次(每次抽完都放回,保证事件独立性),假设抽到了7次白球和3次红球,在此数据样本条件下,可以采用最大似然估计法求解袋子中白球的比例。
求解过程:
- 该试验属于二项分布,我们定义 M 为模型,抽到白球的概率为 θ ,而抽到红球的概率为 1−θ
,因此10次抽取抽到白球7次红球3次的概率(似然函数)为:
- 其对数似然函数为:
- 求
- 即:
二项式系数为常数,在求导过程中会被抵消。故白球的比例为 0.7 。
(2)设总体
X
N
(
μ
,
σ
2
)
,
μ
,
σ
2
X N(μ,σ2) ,μ,σ2
XN(μ,σ2),μ,σ2 为未知参数,
x
1
,
x
2
,
.
.
.
,
x
n
x_1,x_2,...,x_n
x1,x2,...,xn是来自 X 的一个样本值,求
μ
,
σ
2
μ,σ2
μ,σ2 的极大似然估计值。
求解过程:
- X的概率密度为:
- 似然函数为:
- 取对数为:
- 令:
- 即:
- 求得参数估计值为:
六、总结
求最大似然估计量的一般步骤:
- 写出似然函数;
- 对似然函数取对数,并整理;
- 求导数;
- 解似然方程。
最大似然估计的特点:
- 比其他估计方法更加简单;
- 收敛性:无偏或者渐近无偏,当样本数目增加时,收敛性质会更好;
- 如果假设的类条件概率模型正确,则通常能获得较好的结果。但如果假设模型出现偏差,将导致非常差的估计结果。
参考:https://blog.csdn.net/zengxiantao1994/article/details/72787849
https://www.cnblogs.com/lliuye/p/9139032.html