机器学习深版08：EM算法

机器学习深版08：EM算法

1. 铺垫

Jensen不等式：对于凸函数，有以下结论：上图是连续的下图是离散的：

2. 问题引入与欧拉解释

1. 问题提出：K-means算法可以将数据分成簇，但是却给不出它的后验概率。
   
   
   
   
   
   
   
   
   高斯混合模型GMM，混合高斯分布不是高斯分布。
   
   
   
   
   结论是正确的，解释过程略有问题。
   先验假设对最后的结果会有影响，有时影响是决定性的。
   GMM实际上是一个多极值的函数，如下图理解：
   
   这个不能是梯度下降而是坐标上升。
   因为是求均值，所以噪声对其影响还是挺大的。
   各组分方差一样其实是K-means

3. 更加严谨的推导

这个>=就是上面的那个小的下界的求得。

EM算法的收敛性，不细说：

4. EM算法实践

1. DPGMM

GMM存在k值选择多少的问题，即使k设置错了也不会影响最终结果。
先验分布：贝叶斯流派（相应的对家叫做 频率流派）

Dirichlet Process：超参数，想要的参数服从某个model，也需要相应的参数。