本文章由公号【开发小鸽】发布!欢迎关注!!!
老规矩–妹妹镇楼:
导言:
咱们学习概率论的时候,一定学习过最大似然估计这个概念,但是大家可能都只是学习了如何求解最大似然估计,而不太清楚什么叫似然估计?为什么要求最大的似然估计?估计是用于估计什么?这些问题可能大家都没有想过,也可能是因为教科书上的公式太多,没有清晰地讲解最大似然估计的用途。
那么这篇文章就带大家来看看何为最大似然估计。这里我将最大似然估计分为“似然估计:,“最大”两个部分来讲解。
一. 似然估计
似然,英文名为likelihood,直译过来是可能性,可能这个时候大家就想到了概率(probability)这个词了。确实,两者在中文的意思上确实差不多,但在统计学中是两个完全不同的概念。
(一)概率
所谓概率,是指某件事在指定的环境下发生的几率。
如在环境A下,事件M发生的几率为 P(M/A)。
在环境B下,事件M发生的几率为P(M/B)。
将两个先验条件A和B整合为先验条件θ。则概率公式整合为:P(M/θ)。
(二)似然
而似然,是指在确定事件M已经发生的条件下,我们来推测这件事M是由环境A造成的还是由环境B造成的。
公式如下:L(θ/M),θ是先验条件。
概率和似然看似是正好相反的两个概念,它们表示的其实是同一件事,只不过概率是用先验条件来推结果,而似然使用结果来推先验条件。但两者在数值上是相等的。
P(M/θ) = L(θ/M)
二. 最大
我们现在知道了似然估计的概念,知道了似然估计是从确定的结果M反推先验条件theta,那么所谓的最大似然估计是什么意思呢?
正如我们之前所举的例子,先验条件有环境A和环境B(这是最简单的先验条件,实际应用复杂得多),我们要从结果M推测可能性最大的先验条件是环境A还是环境B,找出最大的theta,即找出造成结果M的最可能的条件,这也是我们生活中遇到的最多的情况。通常我们遇到问题,都要反推这个问题到底是由什么原因造成的?最大似然估计就是用来寻找造成问题的最可能的原因。
三.求解最大似然估计
(一).步骤
了解了最大似然估计的概念,那么如何求解最大似然估计呢?这个问题我估计大家都做过,过程如下:
- 写出最大似然函数
- 对似然函数取对数
- 求导
- 解方程
(二).步骤分析
这个流程大家应该或多或少都有些印象,可这些步骤是为什么呢?大家有想过么?我来分析一下。
1. 刚刚有说到,似然函数与概率虽然意思不一样,但是值是相等的。因此写出似然函数这一步,就是用概率来完成的。同时,我们求解的似然函数通常都会出现连乘的现象,因为现实的问题中有很多概率是独立的,用概率公式需要连乘。
2.由于连乘很难求解啊,很容易想到用求对数的方法将连乘转换为连加,加减法当然比乘除法好做啊。同时用求对数的方法并不会改变函数的极值点与最大值的位置。
3.我们需求解的是最大似然估计,求解最大值,大家应该第一个想到的都是求导,那么直接对公式求导。
4.最后一步就是解方程了。
到这里,最大似然估计就被你求出来了,是不是有种醍醐灌顶的感觉呢?被教科书支配了那么多年,看了那么多公式,没有理解概念其实什么都记不住…
关注我,看更多机器学习解析,入门计算机视觉。