九、EM算法

GMM可以理解为多个服从不同均值和方差的正态分布，混合在一起，可对其进行聚类，可以用EM算法估计参数。

后验概率是有用的，比如在工业中，达到不同的值，给出不同的预警。

一、GMM算法直观理解
GMM问题引出：
如果我们知道身高对应的是男性还是女性，求四个估计值，直接套用最大似然得到的公式即可。但是如果不告诉男性还是女性，仅仅告诉身高该如何处理呢？


由于多了一个变量pi，所以难以用求偏导的方法求解。


初始值不一样，一定程度上会影响EM的结果。
注意：多个高斯分布混合起来未必是高斯分布，是混合高斯分布。混合高斯分布不是高斯分布。
如果各分布方差相等，则退化成k-means。

二、EM算法

x为观测的数据，z为未观测的数据，目的把未观测的参数算出来。

EM算法直观理解：任意取一个点θ0，在该点构造一个比较简单的函数r，使得r<=函数p，仅在θ0处相等。如果我们求得r的极大值o点，对应θ1，那么在l上对应的A点一定比O点大；然后同样地在A点构造函数r，进行迭代总可以找到l的局部极大值。如果想找到全局最大值，需要叠加遗传算法或多给几组初值。
一个难点：如何找r。



圈内即为所求函数r。
由log函数的性质可知，log函数中，任意两个自变量x1，x2不相等，函数值永远不会相等。当且仅当log函数内取值为定制，才有二者相等。


即Q取条件概率。

三、GMM推导