通俗易懂版本解释
首先,我们的原始目标是,需要根据已有数据推断需要的分布p;当p不容易表达,不能直接求解时,可以尝试用变分推断 Variational Inference 的方法,即,寻找容易表达和求解的分布q,当p和q的距离很小的时候,q就可以作为p的近似分布,称为输出结果了。
在这个过程中,我们的关键点转变了,从 ”求分布“ 的推断问题,变成了 ”缩小距离“ 的优化问题。
黄色的分布时我们的原始目标p,不好求。它看上去有点像高斯,那我们尝试从高斯分布中找一个红q和一个绿q,分布计算一下p和他们重叠部分面积,选更像p和q作为p的近似分布。
线性逻辑求解思路版
理解变分推理 Variational Inference的精华步骤:
1. 我们拥有两部分输入:数据x,模型p(z, x)
2. 我们需要推断的是后验概率p(z|x)的近似分布q(z; v)
3. 构造后验概率 p(z | x)的近似分布q(z; v)
4. 不断缩小q和p之间的距离直至收敛
reference: