近似推断（2）

上式为最优解的一般表达式，是变分方法应用的基础。这个解表明，为了得到因子的最优解的对谁，只需要考虑所有隐含变量和可见变量上的联合概率分布的对数，然后关于所有其他因子取期望即可。

例子：高斯的变分混合

起始点是高斯混合模型的似然函数

解析：

1.对于每个观测，有一个对应的潜在变量，是一个二值向量；

数据集：；潜在变量：；混合系数：

 

则Z 的条件概率分布形式：

 

2.似然函数：（使用的是精度矩阵不是协方差矩阵，在一定程度上简化了数学计算的复杂度）

3.先验分布：：

：

4.变分：为了形式化地描述这个模型的变分方法，因此写出所有随机变量的联合概率分布：

 

5.潜在变量与参数之间进行分解：

6.分别列出公式

7.变分下界：

 

转载于:https://www.cnblogs.com/gnn0426/p/9296293.html