EM算法的推导

最新推荐文章于 2023-08-12 10:25:34 发布

solAmn

最新推荐文章于 2023-08-12 10:25:34 发布

阅读量161

点赞数

分类专栏： machine learning

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u013319928/article/details/82220596

版权

machine learning 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

0. Jensen不等式

这里不做证明，只列举下文要用到的结论

对 f(x) 在 [a,b] 上为凸函数，即 f''(x)<0 时，

有 $f(E(X))\geq E(f(X))$ ，当且仅当X为常量时去等号（即a=b）

1. EM推导

设样本集 (X_i,Y_i),i=1,2,...,N ,则似然函数的对数形式为：

$l = \sum _ilog(p(x_i,\theta ))$

当含有隐变量z，则难以用MLE对 $\theta$ 计算。

加入隐变量后，

$l=\sum _ilog(\sum _zp(x_i,z_i,\theta ))$

此时加入Q函数，作为z的某个分布, $\sum _zQi(z_i)=1$

$l=\sum _ilog(\sum _zQ_i(z_i)\cdot \frac{p(x_i,z_i,\theta )}{Q_i(z_i)}) \geq \sum _i\sum _zQ_i(z_i)log(\frac{p(x_i,z_i,\theta )}{Q_i(z_i)})=J$

因此我们通过不断调整参数 $\theta$ 与变量z，使J不断逼近

E步:

固定 $\theta$ ，调整Q，使 $J=l$ （可以证明）。

有0节的取等条件可以得到，此时 $\frac{p(x_i,z_i,\theta )}{Q_i(z_i)}=C$ ，

对等式变换：

$\sum _zp(x_i,z_i,\theta )=C\cdot \sum _zQ_i(z_i)$

$p(x_i,\theta )=C$

故 $Q_i(z_i)=\frac{p(x_i,z_i,\theta )}{p(x_i,\theta ))}=p(z_i|x_i,\theta )$

M步：

固定 $Q_i(z_i)$ ，计算 $\theta$ ：

$\theta =argmax_\theta (J)$

参考：

[1] http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
EM算法的推导

0. Jensen不等式这里不做证明，只列举下文要用到的结论对在上为凸函数，即时，有，当且仅当X为常量时去等号（即a=b）1. EM推导设样本集,则似然函数的对数形式为：当含有隐变量z，则难以用MLE对计算。加入隐变量后，此时加入Q函数，作为z的某个分布,因此我们通过不断调整参数与变量z，使J不断逼近E步:固定，调整Q，使（可以证明）。...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。