（《机器学习》完整版系列）第14章 概率图模型——14.10 变分推断用于EM算法

EM算法可视为“推断隐变量分布”和“求参数”交替进行。这里应用变分推断方法推断隐变量分布。

变分推断用于EM算法

（1）回顾7.10 EM算法的使用场景及步骤（反复循环执行E步和M步）的EM算法

• E步：推断隐变量分布$p(\mathrm{z}|\mathrm{x},{\Theta }^t)$
• M步：求参数${\Theta }^{t+1}$
  $$\begin{array}{r}{\Theta }^{t+1}=\underset{\Theta }{\mathrm{argmax}}Q(\Theta |{\Theta }^t)\end{array}\text{\hspace{1em}(14.85)}$$

其中
$$\begin{array}{rl}Q(\Theta |{\Theta }^t)& =\underset{\mathrm{z}\sim p(\mathrm{z}|\mathrm{x},{\Theta }^t)}{\mathbb{E}}\mathrm{LL}(\Theta |\mathrm{x},\mathrm{z})\\ & =\sum _{\mathrm{z}}p(\mathrm{z}|\mathrm{x},{\Theta }^t)\ln P(\mathrm{x},\mathrm{z}|\Theta )\end{array}\text{\hspace{1em}(14.86)}$$
EM算法可视为“推断隐变量分布”和“求参数”交替进行。

EM算法中需要推断隐变量分布，在7.9 EM原理的详细数学推导中，讨论了构造贝叶斯网络推断分布$p(\mathrm{z}|\mathrm{x},{\Theta }^t)$，并通过吉布斯采样计算式(14.86)，这里应用的前述新方法（变分推断）推断隐变量分布。

将时刻${\Theta }^t$的$p$记为$p_{{\Theta }^t}$，如，$p(\mathrm{z}|\mathrm{x},{\Theta }^t)=p_{{\Theta }^t}(\mathrm{z}|\mathrm{x})$，其余类似。 这时，即可利用变分推断求出$p_{{\Theta }^t}(\mathrm{z}|\mathrm{x})$（视为变分推断中的$p(\mathrm{z}|\mathrm{x})$）的近似分布。

（2）上述是随机向量$\mathrm{x}$依赖于隐含变量$\mathrm{z}$，下面讨论一组随机向量${\mathrm{x}}_i$依赖于同一隐含变量$\mathrm{z}$的情形。

【西瓜书图14.10】引入盘式记法：将处于同等地位的独立个体，以“代表”方式在图中体现，并标上个体数，放到一个盘子（方框）中，非常简洁。 变量集 x = { x 1 , x 2 , ⋯   , x N } \boldsymbol{\mathrm{x}}=\{\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_N\} x={x1​,x2​,⋯,xN​}就是盘中的变量（$N$个），是可观察的，而它所依赖的变量$\mathrm{z}$是隐变量，系统中还有参数$\Theta$，则
$$\begin{array}{rl}p(\mathrm{x}|\Theta )& =\prod _{i=1}^{N}p({\mathbf{x}}_i|\Theta )\text{（由独立性）}\\ & =\prod _{i=1}^N\sum _{\mathrm{z}}p({\mathbf{x}}_i,\mathrm{z}|\Theta )\text{（边缘分布）}\end{array}\text{\hspace{1em}(14.87)}$$
值得注意的是：当${\mathbf{x}}_1$与${\mathbf{x}}_2$独立时，能推出$P({\mathbf{x}}_2|{\mathbf{x}}_1)=P({\mathbf{x}}_2)$，但不能推出$P({\mathbf{x}}_2|{\mathbf{x}}_1,\mathbf{z})=P({\mathbf{x}}_2|\mathbf{z})$，一个常犯的错误是以为能推出后者。

取对数即得【西瓜书式(14.30)】的对数似然函数：
$$\begin{array}{rl}\mathrm{LL}(\Theta |\mathrm{x})& =\sum _{i=1}^N\ln \left(\sum _{\mathrm{z}}p({\mathbf{x}}_i,\mathrm{z}|\Theta )\right)\end{array}\text{\hspace{1em}(14.88)}$$

比较【西瓜书式(14.30)】与【西瓜书式(7.35)】，当$N=1$时，二者一致。

既然EM算法可以用于【西瓜书式(7.35)】来求解$\Theta$及$p(\mathrm{z}|\mathrm{x},\Theta )$，那么，当然可将其推广用于【西瓜书式(14.30)】。

这时有
$$\begin{array}{rl}\ln P(\mathrm{x},\mathrm{z}|\Theta )& =\ln P(\mathrm{x}|\Theta )P(\mathrm{z}|\mathrm{x},\Theta )\\ & =\ln P(\mathrm{x}|\Theta )+\ln P(\mathrm{z}|\mathrm{x},\Theta )\\ & =\sum _{i=1}^N\ln \left(\sum _{\mathrm{z}}p({\mathbf{x}}_i,\mathrm{z}|\Theta )\right)+\ln P(\mathrm{z}|\mathrm{x},\Theta )\end{array}\text{\hspace{1em}(14.89)}$$
式(14.89)代入式(14.86)，即
$$\begin{array}{rl}Q(\Theta |{\Theta }^t)& =\sum _{\mathrm{z}}p(\mathrm{z}|\mathrm{x},{\Theta }^t)\left(\sum _{i=1}^N\ln \left(\sum _{\mathrm{z}}p({\mathbf{x}}_i,\mathrm{z}|\Theta )\right)+\ln P(\mathrm{z}|\mathrm{x},\Theta )\right)\end{array}\text{\hspace{1em}(14.90)}$$

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：14.9 变分推断的详细推导（找一个“数学性质好的分布”来近似代替）
下一篇：14.11 趣谈话题模型（隐狄利克雷分配模型LDA）