变分推断的数学推导

这里只给出变分推断的数学推导（变分颇为高深，这里只是简单介绍一下基本概念，想了解更多详见：https://blog.csdn.net/weixin_40255337/article/details/83088786）：

变分推断的目的是构造 $q(w|\theta )$ ，通过优化得到最优的 θ*，从而使得 q(w| θ) 逼近未知的后验分布 P(w |X)。

由贝叶斯公式可知：
$$P(X)=\frac{P(X,w)}{P(w|X)}$$
等式两边取对数：
$$\log P(X)=\log P(X,w)-\log P(w|X)$$
等式右侧 $+\log q(w|\theta )$ 再 $-\log q(w|\theta )$：
$$\log P(X)=\log \frac{P(X,w)}{q(w|\theta )}-\log \frac{P(w|X)}{q(w|\theta )}$$
等式两侧对$w$（服从分布$q(w|\theta )$）取期望，由于等式左侧与 $q(w|\theta )$ 无关，因此有：
$$\log P(X)=\mathbb{E}[\log P(X|w)+\log P(w)-\log q(w|\theta )]+\mathbb{E}\left[\log \frac{q(w|\theta )}{P(w|X)}\right]$$

等式左侧为定值，右侧第一项为定义为ELBO，第二项为 K L { q ( w ∣ θ ) ∣ ∣ P ( w ∣ X ) } KL\{q(w| θ) || P(w| X)\} KL{q(w∣θ)∣∣P(w∣X)}，即：
E L B O + K L { q ( w ∣ θ ) ∣ ∣ P ( w ∣ X ) } = C o n s t a n t ELBO+ KL\{q(w| θ) || P(w| X)\} = Constant ELBO+KL{q(w∣θ)∣∣P(w∣X)}=Constant
因此 arg ⁡ min ⁡ θ K L { q ( w ∣ θ ) ∣ ∣ P ( w ∣ X ) } = arg ⁡ max ⁡ E L B O \arg \min_\theta KL\{q(w| θ) || P(w| X)\} = \arg\max ELBO argminθ​KL{q(w∣θ)∣∣P(w∣X)}=argmaxELBO。
论文原文中的ELBO还有另一种形式：
E B L O = E [ log ⁡ P ( X ∣ w ) + log ⁡ P ( w ) − log ⁡ q ( w ∣ θ ) ] = E [ log ⁡ P ( X ∣ w ) ] − E [ log ⁡ q ( w ∣ θ ) P ( w ) ] = ∫ q ( w ∣ θ ) log ⁡ P ( X ∣ w ) d w − K L { q ( w ∣ θ ) ∣ ∣ P ( w ) } \begin{aligned} EBLO &= \mathbb{E} \big[ \log P(X | w) + \log P(w) - \log q(w| \theta) \big] \\ &= \mathbb{E} \big[ \log P(X | w) \big] - \mathbb{E} \Bigg[ \log \frac{q(w| \theta)}{P(w)} \Bigg] \\ &= \int q(w | \theta) \log P(X | w) dw - KL\{ q(w| \theta) || P(w) \} \end{aligned} EBLO​=E[logP(X∣w)+logP(w)−logq(w∣θ)]=E[logP(X∣w)]−E[logP(w)q(w∣θ)​]=∫q(w∣θ)logP(X∣w)dw−KL{q(w∣θ)∣∣P(w)}​

而对于一个深度学习问题，给定数据集D，神经网络的参数为 $w$，输出为 $P(D|w)$。