最大似然估计

有一个样本的集合N，每个样本只有一个属性，换句话说这些点分布在X轴上。在潜在的空间中有很多概率分布会涵盖这些点，你可以想象成有各种各样的锅盖把这些点一个不漏的扣住。 注：这里我们不讨论是到底是连续分布还是离散分布。

最大似然估计求的就是这个概率分布的参数 θ;找个一个参数值，使得可以获得这样一组样本集合N的可以能性最大。

如何求解可以得到这个呢？

一个自然的想法就是：在所有可能的θ取值中，逐个寻找，直到找到一个值 ，能够让你获得观测数据x的“可能性”最大。 直到找到一个值 ，能够让你获得观测数据x的“可能性”最大。

红色字体仔细想想其中的含义， 换句话说我们寻找的就是 P(x, θ)最大：

----------------------------------------------------------------------------------------------------------------------------------

回忆一下联合概率的公式：

----------------------------------------------------------------------------------------------------------------------------------

于是我们得出了下面的公式：

这个公式也叫： 最大后验估计（maximum a posteriori probability estimate, 简称MAP）

是贝叶斯需要预测的概率值。

-----------------------------------------------------------------------------------------------------------------------------------

在最大似然估计中， θ是未知的分布的随机变量，所以需要理解为P( θ )是均匀分布的， 即P(θ)=C。

与是公式变换一下变成了这个样子： 最大似然估计（maximum-likelihood estimation, 简称MLE）

-----------------------------------------------------------------------------------------------------------------------------------

下面来个具体的例子：

假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是

樱桃 100%

樱桃 75% + 柠檬 25%

樱桃 50% + 柠檬 50%

樱桃 25% + 柠檬 75%

柠檬 100%

如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？

我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为p(我们通过这个概率p来确定是从哪个袋子中拿出来的)，则似然函数可以写作

由于p的取值是一个离散值，即上面描述中的0,25%,50%,75%,1。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子5。这里便是最大似然估计的结果。

答案这样表达，从同一个袋子中连续拿到2个柠檬饼干，最可能是从第5个袋子中取出来的。

到这里最大似然估计的问题我表达完了，很白痴吧。

------------------------------------------------------------------------------------------------------------------

上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。

假设拿到袋子1或5的机率都是0.1，拿到2或4的机率都是0.2，拿到3的机率是0.4，那同样上述问题的答案呢？

如果这样表达问题，相当于多了一个先验概率那么就变成了求解最大后验概率的问题，我们根据公式写出我们的MAP函数。

根据题意的描述可知，p的取值分别为0,25%，50%，75%，1，g的取值分别为0.1，0.2,0.4,0.2,0.1.分别计算出MAP函数的结果为：0,0.0125,0.1,0.1125,0.1.
由上可知，通过MAP估计可得结果是从第四个袋子中取得的最高。