最大似然估计与最大后验概率

最大似然估计MLE（Max likelihood estimation）

最大似然估计是一种统计方法，从英文的直译来看，就是最大可能性估计。如何理解“最大可能性估计”呢?

设上面的函数为可能性的定义，则最大可能性估计就是就是求，取得上述函数最大值时的θ。（参考自百度百科）
此时，X看作样本集，θ看作模型，X是已知确定的，我们需要求在怎样的θ下，出现X这种样本的概率最大。
在实际处理中，一般将该问题用对数来简化

最大后验概率MAP(Max a posterior)
最大后验概率除了最大似然估计外还需要考虑P(θ)的值，即考虑先验概率P(θ)。最大后验概率估计则是想求使P(x|θ)P(θ)最大的θ。
MAP其实是最大化P(θ|x)=P(x|θ)P(θ)/P(x),但P(x)确定，所以省去分母P(x)。

贝叶斯公式与最大似然估计、最大后验概率的关系：

上式为贝叶斯公式。
其中，P(θ|x)为后验概率，即通过样本x得到参数θ的概率
P(x|θ)为可能性函数，即通过参数θ得到样本x的概率
P(θ)为先验概率，P(x)为样本发生的概率，即各种θ条件下发生的概率的积分。

<