MLE，EM，MAP 三种算法对比和理解

整体比较一下 MLE（最大似然估计）， EM（期望最大值估计）， MAP （最大后验概率）三者各自的应用场景，以及三者之间的关系。
一、MLE
MLE是在“模型已定，参数未知”的情况下根据给定观察序列（所有序列服从同一分布）估计模型参数的估计方法。模型参数的准确性，跟观察序列直接相关。
最大似然估计(MLE)的计算过程是:
　　（1） 写出似然函数（已知模型，即已知概率密度函数）
　　（2） 对似然函数取对数，并整理
　　（3） 求导数
　　（4） 解似然方程
Demo: 假设x为独立同分布高斯分布的采样，$\theta$ 为模型参数, f为我们所使用的模型, 那么最大似然估计可以表示为：
L($\theta$ | x1, x2, … , xn) = f(x1, x2, … , xn | $\theta$) =$\prod_{i=1}^{n} f(xi | \theta)$
左右两边取对数：
$ln[ L(\theta | x1, x2, ... , xn) ] ＝ \sum_{i=1}^{n} ln[ f(xi | \theta) ]$
＝ - $\frac{n}{2}ln(2 \pi)$ - $nln(\sigma)$ - $\sum_{i=1}^{n}\frac{(xi-\mu)^{2}}{2\sigma^{2}}$

对$\theta$ 中的