【变分推断】VI的数学公式

Inference：精确推断可求解，复杂的模型，参数空间隐变量非常复杂时，使用近似推断来求后验或后验的期望，近似推断中分确定性推断（VI）和随机性推断（MCMC）。

基础的VI是基于平均场理论mean-theory，隐变量之间相互独立

随机梯度下降变分推断，Φ是q(z)的参数，ELBO对Φ求导，得出对q分布上求期望的式子，但log(q(Φ))的方差过大，因为采样中存在可能采样趋于-∞的点，方差越大，需要的采样点就越多趋向∞，这样采样不可能。

重参数化技巧Reparameterization trick是解决high variance的方式之一，z是关于ε和xi的函数，P（ε）是一个给定的分布，ε是随机变量。将z的随机性转移到ε上。采样L个后，用平均值来近似期望：