两个方法都是基于样本去估计系统(总体)参数的估计方法,因此经常会被拿到一起来说。
最大似然估计
最大似然估计(maximum likelihood estimation,简称MLE)很容易理解,在生活生活中其实也经常用到,看下面一个例子:
一个箱子中有白球和黑球共1000个,但是我们并不知道白球和黑球各多少个(当然这里不允许把箱子里的球倒出来逐个数),此时我们就可以用抽样的方法去估计箱子里黑白两种球的分布。假设我们抽了100次,得到的结果是70次黑球和30次白球,那么我们很自然的可以估计箱子里面有700个黑球,300个白球。你看,这是生活中我们非常自然的意识,但这其中却是用到了最大似然估计的原理哦~
在上面的例子中,我们假设总体为X,箱子里面黑球的真实概率为 p p p,产生我们抽样结果(即抽到70次黑球)为事件 θ \theta θ,那么发生每次抽取后结构为有70个黑球和30个白球的情况的概率为: P ( θ ∣ X ) = p 70 ∗ ( 1 − p ) 30 P(\theta|X) = p^{70} * (1-p)^{30} P(θ∣X)=p70∗(1−p)30
此处的 P ( θ ∣ X ) P(\theta|X) P(θ∣X)就是我们说的似然函数。
最大似然估计可以理解为:选择让抽样结果发生的概率最大的参数作为总体被估计的参数。 也就是说,我们要让似然函数最大,这就很简单了,只要对上式求导即可,这时候你可能会说:对上式求导一点都不简单,哈哈哈~ 那试试先取对数再求导呢?实际上在运用最大似然估计时,一般都不是直接对似然函数求导,而是对对数似然函数求导,因为似然函数的形成其实就是一系列的条件概率相乘而得来的。
我们总结一下:
- 最大似然估计的终极目标:选择一个参数作为系统参数的估计值,让抽样结果发生的概率(似然概率)最大
- 最大似然估计步骤:
- 求出似然函数
- 对似然函数或对数似然函数求导,令方程等于0
- 解方程求出参数, 该参数作为总体参数的估计量
- 另外要注意的是,在上述抽样步骤中,正确的做法是:每抽出一个球记录颜色再放回,而不知直接在箱子里抽取100个球。因为我们需要保证:每次抽样样本颜色跟箱子里球的颜色是同分布的
- 最大似然估计在大数据量的情况下发挥比较好。
最大后验估计
最大后验概率估计(Maximum a posteriori estimation, 简称MAP),也是用样本估计整体,但是在使用时需要加上先验条件,最大后验估计的基础是贝叶斯公式。举一个网上的例子:
我们需要估算抛硬币正面朝上的概率,在做测试时只允许抛10次,在这10次中,恰好全部是正面朝上的,如果根据极大似然估计的思想,那么抛硬币正面朝上的概率是1,这无疑是不严谨的。因此在最大后验估计中,会设置一个先验条件,如抛硬币实验中,可设置的先验条件为 P ( θ ) P(\theta) P(