EM算法——具体推导，Q函数直接用

最新推荐文章于 2024-10-13 23:22:35 发布

KDQG

最新推荐文章于 2024-10-13 23:22:35 发布

阅读量5.6k

点赞数 1

分类专栏：机器学习

机器学习专栏收录该内容

12 篇文章 4 订阅

订阅专栏

EM算法

原文链接：https://www.cnblogs.com/zdz8207/p/DeepLearning-em-gosimix.html

本文经过一定修改，个人认为原文中存在符号混用情况，对Q函数的角码使用不太清晰，容易晕

假设训练集 $\{x^{(1)},x^{(2)},...,x^{(m)}\}$ 是由m个独立的样本构成。我们的目的是要对 $p(x,z)$ 概率密度函数进行参数估计。它的似然函数为：

$\begin {aligned}l(\theta)&=\underset{i=1}{\overset{m}{\sum}}log\;p(x,\theta)\\ &=\underset{i=1}{\overset{m}{\sum}}log\underset{z}{\sum}p(x,z;\theta) \end{aligned}$

然而仅仅凭借似然函数，无法对参数进行求解。因为这里的随机变量 $z^{(i)}$ 是未知的。

EM算法提供了一种巧妙的方式，可以通过逐步迭代逼近最大似然值。下面就来介绍下EM算法：

假设对于所有j， $Q_{j}$ 为随机变量 $z^{(i)}$ 的第j个分布函数(在此时i为固定量即： $\sum_{Z}Q_{j}(z)=1,Q_{j}(z)\ge0$ 。那么：

$\begin{aligned}l(\theta)&=\underset{i}{\sum}log \; p(x^{(i)};\theta)\\ &=\underset{i}{\sum}log\underset{z^{(i)}}{\sum}p(x^{(i)},z^{(i)};\theta)\quad\quad\quad\quad &(1)\\&=\underset{i}{\sum}log\underset{z^{(i)}}{\sum}Q_{j}(z^{(i)})\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})}&(2)\\ &\ge \underset{i}{\sum}\underset{z^{(i)}}{\sum}Q_{j}(z^{(i)})log\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})}&(3) \end{aligned}$

其中第（2）步至第（3）步的推导就使用了Jensen不等式。其中：f(x)=log x， $f''(x)=-\frac{1}{x^{2}}<0$ ，因此为凸函数； $\underset{^{(j)}}{\sum}Q_{j}(z^{(i)})\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})}$ 表示随机变量为 $Q_{j}(z^{(i)})$ 概率分布函数为 $\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})}$ 的期望。因此有：

$f(\underset{z^{(i)}\sim Q_{i}}{E}[\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})}])\ge \underset{z^{(i)}\sim Q_{j}}{E}[f(\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})})]$

这样，对于任意分布 $Q_{j}$ ，（3）都给出了 $l(\theta)$ 的一个下界。如果我们现在通过猜测初始化了一个 $\theta$ 的值，我们希望得到在这个特定的 $\theta$ 下，更紧密的下界，也就是使等号成立。根据Jensen不等式等号成立的条件，当 $\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})}$ 为一常数时，等号成立。即：

$\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{j}(z^{(i)})} =c$

由上式可得 $p(x^{(i)},z^{(i)};\theta)=cQ_{j}(z^{(i)})$ ，又 $\sum_{j}Q_{j}(z)=1$ ，因此 $p\left(x^{(i)} ; \theta\right)=c$ 。再由上式可得：

$\begin {aligned}Q_{j}(z^{(i)})&=\frac{p(x^{(i)},z^{(i)};\theta)}{\sum_{z}{p(x^{(i)},z;\theta)}}\\&=\frac{p(x^{(i)},z^{(i)};\theta)}{{p(x^{(i)};\theta)}}\\&=p(z^{(i)}|x^{(i)};\theta) \end{aligned}$

上述等式最后一步使用了贝叶斯公示。最后一个公式 $Q_j(z^{(i)})$ 表示第i个样本属于隐含变量的第j个分布的概率

结论：得出了Q函数公式，在EM算法中可以直接使用，

EM算法有两个步骤：

（1）通过设置初始化 $\theta$ 值，求出使似然方程最大的 $Q_{i}$ 值，此步骤称为E-步（E-step）

（2）利用求出的 $Q_{i}$ 值，更新 $\theta$ 。此步骤称为M-步（M-step）。过程如下：

repeat until convergence{

(E-step) for each i, set

$Q_{i}(z^{(i)}):=p(z^{(i)}|x^{(i)};\theta)$

(M-step) set

$\theta:=arg\,\underset{\theta}{max}\underset{i}{\sum}\underset{z^{(i)}}{\sum}Q_{i}(z^{(i)})log\frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})}$

评论 5

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。