先验概率和后验概率_极大似然估计（MLE）和最大后验概率估计（MAP）

MLE与MAP分别对应两种学派的参数估计方法，频率派和贝叶斯派。

频率派认为参数是未知的常量，而样本是随机变量，可以通过样本的概率分布估计参数的值。

贝叶斯派认为参数是随机变量，其符合某种潜在先验概率分布prior。根据获取的信息（likelihood/evidence）去不断调整先验分布，从而得到后验概率分布.

posterior=(likelihood×prior)/evidence
likelihood/evidence在一起可称为标准相似度，因此也可写为
posterior=standardised likilihood×prior

极大似然估计MLE

MLE认为每个事件的发生都不是偶然的，存在即合理，为了解释这些事件的出现，决定系统的参数必须使得这些事件的出现更加合理才更好。因此MLE是求使得事件发生的概率最大化的情况下的参数。

似然函数：

MLE：

可以看出，MLE的参数估计值仅取决于样本，在数据量大的情况下还算靠谱，但是数据量小或者数据不靠谱的时候，结果也不靠谱。

最大后验概率估计MAP

MAP的思想类似，但是加入了参数的先验分布的假设。估计的过程就是根据样本的信息对参数的先验概率分布进行调整的过程，进而得到参数相对于样本的后验概率分布。为了满足事件发生即合理，即参数的后验概率应尽可能大，从而保证这些事件出现的情况更加合理，因此通过最大化后验概率来确定最终的参数的概率分布。

要明确两种学派中变量是谁，前者是样本，后者是参数。因此MAP中相当于求后验分布关于参数的极大值点（x轴为参数θ，y轴为后验概率）。

相同点：MLE和MAP均是通过直接求数值解的方式估计参数。

不同点：MAP加入先验假设P(θ)，相当于在MLE的基础上增加一个先验项，即-logP(θ)。

一个例子 参考https://blog.csdn.net/qq_39355550/article/details/81809467