统计学习方法（十三）EM算法（三）

EM算法的推广

一、F函数的极大极大算法
F函数：假设隐变量Z的概率分布为$\widetilde P(Z)$ ，定义分布$\widetilde P$ 与参数$\theta$ 的函数如下：
$F(\widetilde P,\theta ) = {E_{\widetilde P}}[\log P(Y,Z|\theta )] + H(\widetilde P)$
式中$H(\widetilde P) = - {E_{\widetilde P}}\log \widetilde P(Z)$ 是Z的概率分布的熵。
关于F函数的性质：
引理9.1：对于固定的$\theta$ ，存在唯一的分布${\widetilde P_\theta }$ 极大化$F(\widetilde P,\theta )$ ，其定义如下：
${\widetilde P_\theta }(Z) = P(Z|Y,\theta )$
其值随参数变化而变化。
引理9.2：若${\widetilde P_\theta }(Z) = P(Z|Y,\theta )$ ，则有：
$F(\widetilde P,\theta ) = \log P(Y|\theta )$


二、GEM算法
关于GEM算法，因书本中只是列出了算法，所以可以看《统计学习方法》第168页，这里不进行叙述