参考文献连接:
深入理解EM推导过程(https://blog.csdn.net/xietingcandice/article/details/44653901)
EM算法一般表述(https://www.cnblogs.com/cxchanpin/p/6731780.html)
EM来源:抽取的样本分布未知,需要通过参数反过来判断样本的分布。所以引出EM隐含变量
思路:初始化隐含变量,估计出每个类别对应的分布参数。再根据参数调整隐含变量,依次迭代
推导:
1、极大似然取对数
2、对每个样例的每个可能类别z求联合分布概率和(隐含变量:z)
目标:找到合适的θ和z让L(θ)最大。
对于每一个样例i,让表示该样例隐含变量z的某种分布,
满足的条件是
。(如果z是连续性的,那么
是概率密度函数,需要将求和符号换做积分符号)。比如要将班上学生聚类,假设隐藏变量z是身高,那么就是连续的高斯分布。如果按照隐藏变量是男女,那么就是伯努利分布了。
可以由前面阐述的内容得到下面的公式:
(3)利用Jensen不等式,即凹函数存在:f(E[x]) >= E[f(x)]
EM高斯混合的回归分析: