对极大似然估计（MLE）和极大后验估计（MAP）的通俗理解

概率与统计

对于这个函数：P ( x ∣ θ )
输入有两个：x表示某一个具体的数据；θ表示模型的参数。

• 如果 θ 是已知确定的，x是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点x，其出现概率是多少，求解x的过程属于概率学范畴。

• 如果x是已知确定的，θ是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少，求解θ的过程属于统计学范畴。

也有人上上述两种问题称之为描述统计学（统计学）和推断统计学（概率学）

极大似然估计（MLE）和极大后验估计（MAP）

• 极大似然估计就是在不知道参数θ分布的情况下，最大化似然函数，得到最优的参数θ
• 极大后验概率是在知道参数θ分布（先验概率）的情况下，最大化后验概率，得到最优的参数θ；这里的后验概率本质上就是似然函数*先验概率，因此最大化后验概率等价于让似然函数和参数θ出现的概率同时最大化