Variational Inference with Normalizing Flows变分推断

• introduction

  • 变分推断应用于大数据集：用一类已知的概率分布来近似难以处理的后验分布
  • 发展历程：从文本大规模主题模型核心（(Hoffman et al., 2013）-》半监督分类技术》驱动现在最像的图像模型，很多物理化学系统的默认模型。但后验近似限制更广泛应用
    • 平均场：平均场即认为变分概率密度函数是各个随机变量（参数）的变分概率密度函数的乘积（即因式分解）
    • 深度自回归网络
    • 提出不足：后验方差低估、后验近似的局限导致任何模型参数的MAP（最大后验估计）估计产生偏差
    • 混合模型约束计算能力

• amortized variational inference

  • 观测变量x,潜在变量z,模型参数，引入后验似然分布并遵循变分原则来获取marginal likelihood的边界，通常被作为F或者ELBO提到。（3）是目标函数

    

    • 目前的变分推理最佳实践使用小批量和随机梯度下降来执行这种优化以解决大数据集，主要需要解决
      • 有效计算派生
      • 有丰富的可计算的 本文聚焦点

  •  Stochastic Backpropagation

    • Reparameterization:我们用一个已知的基数分布和一个可微的变换(如位置尺度变换或累积分布函数)来重新参数化潜变量 e.g.

      

    • ###Backpropagation with Monte Carlo:从基数提取的蒙特卡洛拟合来求变分分布的变量微分

      

    • MCCV（蒙特卡洛控制变量）作为替代随机反向传播存在，允许潜变量连续/离散，但随机反向传播对于具有连续潜在变量的模型，它具有竞争估计量中最小的方差

  • Inference Networks：一种学习从观察到潜在变量的逆映射的模

    • 用识别模型或推理网络表示近似后置分布qφ(·)，基于此只需要计算一组全局变分参数φ，在训练时间和测试时间均有效
    • 以高斯密度函数为例

      

      
      其中均值函数μ