机器学习之变分推断(三)基于平均场假设变分推断与广义EM

引言

上一节介绍了基于平均场假设 的变分推断推导过程。本节将介绍平均场假设变分推断与广义EM之间的联系。

回顾：基于平均场假设的变分推断

首先，平均场理论(Mean Theory)是一个物理学的概念，将隐变量在概率图中的状态变量 划分成$\mathcal{M}$个组，将整个关于 隐变量的概率分布看作$\mathcal{M}$个独立的子概率分布。数学符号表示如下：
$$\begin{array}{rl}\mathcal{Q}(\mathcal{Z})& =\prod _{i=1}^{\mathcal{M}}{\mathcal{Q}}_i({\mathcal{Z}}^{(i)})\\ & ={\mathcal{Q}}_1({\mathcal{Z}}^{(1)})\cdot {\mathcal{Q}}_2({\mathcal{Z}}^{(2)})\cdots {\mathcal{Q}}_{\mathcal{M}}({\mathcal{Z}}^{(\mathcal{M})})\end{array}$$
由于平均场假设，$\mathcal{Q}(\mathcal{Z})$内部各子概率分布${\mathcal{Q}}_i({\mathcal{Z}}^{(i)})$之间相互独立，因此，在求解 任一子概率分布 Q j ( Z ( j ) ) ( j ∈ { 1 , 2 , ⋯   , M } ) \mathcal Q_j(\mathcal Z^{(j)})(j \in \{1,2,\cdots,\mathcal M\}) Qj​(Z(j))(j∈{ 1,2,⋯,M}) 过程中，可以通过固定剩余的$\mathcal{M}-1$项进行求解。令：
注意：由于只将${\mathcal{Z}}^{(j)}$看作变量，因此该期望基于的分布${\prod }_{i\ne j}^{\mathcal{M}}{\mathcal{Q}}_i({\mathcal{Z}}^{(i)})$是已知分布。同理，隐变量$\mathcal{Z}=({\mathcal{Z}}^{(1)},{\mathcal{Z}}^{(2)},\cdots ,{\mathcal{Z}}^{(\mathcal{M})})$中只有${\mathcal{Z}}^{(j)}$是变量，其余均是常数。因此，将该期望视作关于$\mathcal{X},{\mathcal{Z}}^{(j)}$的函数。
$${\mathbb{E}}_{{\prod }_{i\ne j}^{\mathcal{M}}{\mathcal{Q}}_i({\mathcal{Z}}^{(i)})}\left[\log P(\mathcal{X},\mathcal{Z})\right]=\log \hat{\varphi }(\mathcal{X},{\mathcal{Z}}^{(j)})$$

从而求解最优$\widehat{{\mathcal{Q}}_j}({\mathcal{Z}}^{(j)})$的值：
Q j ^ ( Z ( j ) ) = arg