概率生成模型变分推理方法综述

摘 要 概率生成模型是知识表示的重要方法，在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法，具有较快的收敛速度、坚实的理论基础．尤其随着大数据时代的到来，概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展，具体包括：首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程；然后对于条件共轭指数族分布，给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理；进一步，对于一般概率分布，给出了基于随机梯度的黑盒变分推理框架，并简述了该框架下多种变分推理算法的具体实现；最后分析了结构化变分推理，通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外，展望了概率生成模型变分推理的发展趋势.

关键词 概率生成模型；变分推理；条件共轭指数族；黑盒变分推理；结构化变分推理

概率生成模型(probabilistic generative model)是知识表示的重要方法，拟从数据集中学习数据概率分布的估计形式.该估计可以是显式的概率密度函数形式，也可以是隐式表示，即不具有