【无标题】

极大似然估计的通俗理解

Risper

极大似然估计（Maximum-Likelihood）是以极大似然原理为基础的一种统计方法。

极大似然原理：在随机过程中，任何有可能发生事件，概率大的事件发生的概率也大。如果只随机一次，事件A发生了，则有理由认为A事件发生的概率比其他事件要大。

这是一种统计学里的概念，试图通过能够被观测到的事件去估计事件发生真实的概率分布。

极大似然估计就是利用已知的样本结果，反推出最有可能（最大概率）导致这样结果的参数值。这个参数值表示什么，让我们举个例子来说明。

例如:

问：一个箱子里有黑白两种颜色的小球若干，每次有放回的拿球，拿三次结果两黑一白，问取出白球概率的极大似然估计是多少？

我们假设取球事件为y，取到白球的概率为p，则取到黑球的概率为1-p，由于取球是独立事件（极大似然估计的要求），即不是黑球就是白球。三次拿球两黑一白的概率可以表示为：

P(y = 0 | p) P(y = 0 | p) P(y = 1 | p) = (1 - p) (1 - p) p = p^3 - 2p^2 + p

（这个函数就是极大似然函数，p为参数值）

根据极大似然原理，由于这是我们所观察到的（两黑一白），所以我们需要让这个函数获得其最大值，也就是说让这个两黑一白的概率最大！

既然是求最大值，而上式可导，我们便可对上式进行求导并令其等于0，3p^2 - 4p + 1 = 0。求此一元二次方程的根得p=1/3或p=1，可知原式在[0, 1/3]区间单调递增，在[1/3, 1]区间单调递减。因此，在白球概率范围[0.2，0.8]内，当p=1/3时表达式取得最大值，取得白球的概率的极大似然估计为1/3。

很多文章中会用“模型已定，参数未知”来形容极大似然估计，在我们的例子中，模型可以看作是三次抽球的概率函数p^3 - 2p^2 + p，参数当然就是指其中的p了。

极大似然估计在药物发现的深度学习中应用的非常广泛，尤其是生成模型当中，如今的变分自编码器，扩散模型等等离不开极大似然估计的身影。

值得注意的是，在实际中极大似然估计模型，往往让其满足某个分布，比如用的最为广泛的高斯分布，也即正态分布。其公式如下：

如果我通过极大似然估计，得到模型中参数μ和σ的值，那么这个模型的均值和方差以及其它所有的信息我们是不是就知道了呢。确实是这样的。这也就是为什么扩散模型中使用高斯分布的原因。