目录
一、什么是极大似然估计(MLE)
极大似然估计(maximum likelihood estimation),是一个利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值的方法
二、举例说明
举例一个关于MLE经常用的一个例子来说明MLE要做的事情:
假设一个盒子里有未知数量、未知比例的黑色球、白色球,现在我们想了解一下两种颜色球的比例,但是我们只能进行下记步骤:
-
从盒子中随机拿出一个球
-
观察并记录球的颜色
-
将球放回盒子
-
将盒子内的球摇匀(为了要符合独立同分布, Independent and identically distributed, IID)
-
重复上述5个步骤
假设进行了10次重复操作后的结果如下:
第几次实验 | 球的颜色 |
---|---|
1 | 黑色 |
2 | 白色 |
3 | 白色 |
4 | 黑色 |
5 | 白色 |
6 | 白色 |
7 | 白色 |
8 | 黑色 |
9 | 白色 |
10 | 黑色 |
根据图表可以看出,10次实验中,有4次是黑色(40%),6次是白色(60%)
单纯从这个实验结果直观来看,盒子中黑色和白色球的比例应该为:60%:40%
但是在实际工作中,样本量大、特征也不仅仅是颜色一种属性,所以没办法直接获取到结果。但是只要我们清楚了这个背后的数学原理,就可以通过公式,很方便快捷的计算出这个结果,从而对参数值进行优化
对于这个例子来说,假设抽取到白球的概率为p,则黑球的概率为(1 - p),因为抽样的结果已经出现了,那根据这个后验结果,计算出出现这个结果可能性最大的p,就是极大似然估计要做的事情,也就是就是求得使下记式子值最大的p,就是最接近真实白球数目占比的概率:
对于不同的p,式子的结果值如下:
p的值 | 对应的结果 |
---|---|
0% | 0 |
10% | 0.0000006561 |
20% | 0.0000262144 |
30% | 0.0001750329 |
40% | 0.0005308416 |
50% | 0.0009765625 |
60% | 0.0011943936 |
70% | 0.0009529569 |
80% | 0.0004194304 |
90% | 0.0000531441 |
100% | 0 |
为了更清晰的看到变化情况,折线图如下:
从折线图中可以清晰的看出,当p = 0.6时,式子的值是最大的,所以白球最大可能的的占比为60%,与直观结果相同
三、数学推导
本篇只对常见的一维高斯分布进行数学推导
这里重新列并修改一下第二章节中的公式:
需要求解的式子为:
特征列表为:
概率服从高斯分布 :
高斯分布公式 :
为了简化连乘运算,对第一个式子两边同时取对数,利用log的特性,将连乘转换为连加,并将高斯公式带入,式子可以转换为(为了显示清晰,暂时隐藏了argmax):
对于高斯分布,重点是求和,所以上面的式子对于和求偏导,并令偏导为0后,求和的推导过程如下:
求 :
对求导得:
令上式等于0,得到:
因为与n无关,所以求和可以转换为:
所以对于的估计值为:
即样本中x的平均值
求
令上式等于0,得到:
等式两边同时 × 得到:
同样,与i无关,所以式子可以修改为:
所以对于的估计值为:
上面两个对和的估计值中,为无偏估计,即与真值无偏差;但是为有偏估计,无偏估计应该将分母修改为(N - 1)
有无偏估计的证明如下:
无偏估计证明 :
有偏估计证明:
其中:
将这两个式子带入到刚刚的结论中,得到下记式子:
所以:
四、结论
下篇文章更新多维高斯分布的数学推理