最大似然估计和最大后验估计

概率与统计

概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。

概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。

回到这个函数P(x∣θ)，其中x表示数据，θ表示参数，已知x求θ就是统计问题，已知θ求x就是概率问题。

如果θ 是已知确定的，x是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少。

如果x是已知确定的，θ是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。

---

最大似然估计（MLE)

最大似然估计是以当前数据推断可能性最大的模型和参数，比如有放回地摸取袋子中的球，若10次中有7次摸到红球，以最大似然估计则从该袋中摸取红球的概率是0.7。

若要进行详细计算，就是这样的过程，我们把这十次抽取看成一个整体事件 [A]，很明显事件 [A] 发生的概率是每个子事件概率之积。我们把P(A)看成一个关于p的函数，求 P(A)取最大值时的p ，这就是极大似然估计的思想。具体公式化描述为

接下来就是取对数转换为累加，然后通过求导令式子为0来求极值，求出p的结果。

通过画出函数图像，我们也可以看出，要使P(A）最大，p=0.7

---

最大后验估计(MAP)

最大似然估计在摸球问题上似乎显得非常的合理，那是因为我们事先对袋中的球的情况没有任何了解。如果我们事先对事件的概率有个粗略的判断，可能这种办法看起来就不是那么合理了。

比如
抛一枚硬币，10次中有7次是正面朝上，以最大似然估计会得到正面朝上的概率为0.7的结论，但是我们都知道硬币正面朝上的概率是接近0.5的，10次这个数量太小了，有很大的偶然性。

在最大后验估计中加入了预设的θ的概率分布P(θ)，比如假设硬币正面朝上的概率服从正态分布，如下图

在MLE中我们得到的P(A)图像在MAP中是P(X0|θ)图像，用它乘上预设的概率分布，就得到了MAP中P(A)的图像

观察图像可以粗略看出，最大值是大于0.5也小于0.7的。

---

MLE与MAP的联系

最大似然估计实际上可以看做是预设为均匀分布的最大后验估计。

而当实验次数非常大时，最大后验估计结果是非常接近于最大似然估计的。这也符合我们的常识，如果抛了1亿次硬币，正面次数接近70%，那么它一定是一枚不均匀的硬币或者有磁力干扰，总之正面概率应该是0.7.