最大似然估计(MLE)和最大后验(MAP)

MLE和MAP

两个学派

频率学派

• 存在唯一真值 $\theta$。

贝叶斯学派

• $\theta$是一个随机变量，符合一定的概率分布。
• 在贝叶斯学派里有两大输入和一大输出，输入是先验 (prior)和似然 (likelihood)，输出是后验 (posterior)。
• 先验，即$P(\theta )$ ，指的是在没有观测到任何数据时对$\theta$的预先判断，例如给我一个硬币，一种可行的先验是认为这个硬币有很大的概率是均匀的，有较小的概率是是不均匀的
• 似然，即$P(X|\theta )$，是假设$\theta$已知后我们观察到的数据应该是什么样子的；
• 后验，即$P(\theta |X)$，是最终的参数分布。

最大似然估计（MLE ）-Maximum Likelihood Estimate

• MLE是频率学派常用的估计方法

• P ( x ∣ θ ) = argmax ⁡ P ( x 1 , x 2 , … x n ∣ θ ) P(x | \theta)=\operatorname{argmax} P\left(x_{1}, x_{2}, \ldots x_{n} | \theta\right)