rc_jacks的博客

学习点滴记录

EM算法(高斯混合)

参考文献连接:

深入理解EM推导过程https://blog.csdn.net/xietingcandice/article/details/44653901

EM算法一般表述(https://www.cnblogs.com/cxchanpin/p/6731780.html

EM来源:抽取的样本分布未知,需要通过参数反过来判断样本的分布。所以引出EM隐含变量

思路:初始化隐含变量,估计出每个类别对应的分布参数。再根据参数调整隐含变量,依次迭代


推导:


1、极大似然取对数

2、对每个样例的每个可能类别z求联合分布概率和(隐含变量:z)

目标:找到合适的θ和z让L(θ)最大。

对于每一个样例i,clip_image032表示该样例隐含变量z的某种分布clip_image032[1]满足的条件是clip_image034。(如果z是连续性的,那么clip_image032[2]是概率密度函数,需要将求和符号换做积分符号)。比如要将班上学生聚类,假设隐藏变量z是身高,那么就是连续的高斯分布。如果按照隐藏变量是男女,那么就是伯努利分布了。

可以由前面阐述的内容得到下面的公式:

(3)利用Jensen不等式,即凹函数存在:f(E[x]) >= E[f(x)]


EM高斯混合的回归分析:






阅读更多
个人分类: 机器学习(论文)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

EM算法(高斯混合)

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭