【机器学习】EM与MLE

最大似然估计

找出与样本的分布最接近的概率分布模型

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

求最大似然函数估计值的一般步骤：
（1）写出似然函数；
（2）对似然函数取对数，并整理；
（3）求导数，令导数为0，得到似然方程；
（4）解似然方程，得到的参数即为所求；

这个函数反映的是在不同的参数θ取值下，取得当前这个样本集的可能性，因此称为参数θ相对于样本集X的似然函数（likelihood function）。记为L(θ)。

（EM算法）The EM Algorithm

---

Kmeans和EM有什么关系，和GMM有什么关系？

http://www.cnblogs.com/zjutzz/p/5083623.html

https://blog.csdn.net/diudiu5201/article/details/59486489

https://blog.csdn.net/shulixu/article/details/52986585

参考：

EM算法系列(三)-最大似然估计（引例很好）

从最大似然到EM算法浅解

EM算法详细推导和讲解

联合概率、边缘概率、条件概率之间的关系&贝叶斯公式

cs229的笔记?