所谓推断,即是在概率图模型中计算未观测变量(变量集)的后验分布;然后根据推测出的未观测变量与观察变量一起进行参数学习。注意如果将待学习参数也当作变量,那么参数学习也类似于推断问题。推断分为精确推断和近似推断,因精确推断往往需要很大的计算开销,所以近似推断在现实应用中跟为常用。近似推断分为基于确定性的变分推断和基于随机性的采样方法。本文将深入探讨变分推断的原理与技术细节。
假设在贝叶斯模型中, X X 代表观测变量集,
代表隐变量集和参数集, p(X,Z) p ( X , Z ) 为相应的联合概率分布。在EM算法深入理解中,我们能得到如下关系:
其中
可知,在参数的学习中我们使用EM算法,即避开观察数据的对数似然函数 lnp(X|θ) ln p ( X | θ ) 的难以优化求解而利用其下界 L(q,θ) L ( q , θ ) 进行计算。其中, q(Z) q ( Z ) 的选择,我们直接采用其后验概率而使得下界与目标优化函数取等。然而遗憾的是,在概率图模型当中,隐变量 Z Z 的后验分布很难通过贝叶斯公式求解,主要是因为分母中 的积分项的存在。因此,变分推断的实质就是使用已知简单分布来逼近需要推断的复杂分布,并通过限制近似分布的类型,从而得到一种局部最优,但具有确定解的近似后验分布。
1. 数学原理
平均场假设复杂的多变量 Z Z 可拆分为一系列相互独立的多变量
, i=1,⋯,M i = 1 , ⋯ , M ,且 q q 分布可以因子化为这些多变量集的乘积:
qi(Zi) q i ( Z i ) 简写为 qi q i ,那么下界 L(q) L ( q ) 可变为(注意这里的参数 θ θ 融入进了隐变量):
注意这里的 Z