变分推理-ELBO

变分推理

变分推理的原理等价于最小化KL散度：
$$KL\left(q_{\mathbf{\theta }}(\mathbf{\omega })\Vert p(\mathbf{\omega }\mid \mathcal{D})\right)=\int q_{\mathbf{\theta }}(\mathbf{\omega })\log \frac{q_{\mathbf{\theta }}(\mathbf{\omega })}{p(\mathbf{\omega }\mid \mathcal{D})}d\mathbf{\omega }$$
其中：$\mathbf{\omega }$为网络中的权重参数，$\mathcal{D}$为给定的训练数据。因$p(\mathbf{\omega }\mid \mathcal{D})$的求解十分困难，因此采用$q_{\mathbf{\theta }}(\mathbf{\omega })$对$p(\mathbf{\omega }\mid D<$