（《机器学习》完整版系列）第14章 概率图模型——14.9 变分推断的详细推导（找一个“数学性质好的分布”来近似代替）

假定$p(\mathrm{z}|\mathrm{x})$复杂（可能不好计算出来），因此，我们不直接找它，而是找一个“数学性质好的分布”$q(\mathrm{z})$来近似代替它。
推导近似分布$q(\mathrm{z})$的理论基础需要用到变分法时，称为变分推断。

变分推断的详细推导

现在的任务是：已知$p(\mathrm{x},\mathrm{z})$（或其等价形式，如，贝叶斯网络）及“其它条件”（即能找到如下的$q(\mathrm{z})$），求分布$p(\mathrm{z}|\mathrm{x})$。

假定$p(\mathrm{z}|\mathrm{x})$复杂（可能不好计算出来），因此，我们不直接找它，而是找一个“数学性质好的分布”$q(\mathrm{z})$来近似代替它，集中精力求$q(\mathrm{z})$，实现$p(\mathrm{z}|\mathrm{x})$的近似推断（即$p(\mathrm{z}|\mathrm{x})\approx q(\mathrm{z})$）。

“数学性质好的分布”的特点：

一是可分解：
$$\begin{array}{r}q(\mathrm{z})=\prod _{i=1}^M{q}_i(z_i)\end{array}\text{\hspace{1em}(14.72)}$$

二是好计算：指$\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})$能方便地表达为关于$p(\mathrm{x},\mathrm{z})$的闭式解。

先理解变分法概念：对于求目标函数$f(x)$的最大值，若$f(x)$比较复杂，可以用另一个简单的函数簇$g(x,\lambda )$（引入一个参数$\lambda$）作为$f(x)$的下界，并对于任意的$x$，存在$\lambda$的某个值使得界是“紧的”，例如，$f(x)=-\ln (x),g(x,\lambda )=-\lambda x+\ln (\lambda )+1$，其中，$g(x,\lambda )$是关于变量$x$的线性函数，并可以证明它是$f(x)$的下界且关于某个$\lambda$是紧的。
有了目标函数的下界函数簇后，最大化目标函数$f(x)$可转化为最大化函数簇$g(x,\lambda )$。 形象地想象：$g(x,\lambda )$因$\lambda$变化而形成一个托盘，托盘作为函数$f(x)$的下界，它托着函数$f(x)$，要最大化$f(x)$，只需尽可能地举高托盘。

下面推导出近似分布$q(\mathrm{z})$，由于其理论基础需要用到变分法，故这类方法称为变分推断。

$$\begin{array}{rl}& \ln p(\mathrm{x})\\ =& \ln p(\mathrm{x}){\int }_{\mathrm{z}}q(\mathrm{z})\mathrm{d}\mathrm{z}\\ =& {\int }_{\mathrm{z}}q(\mathrm{z})\ln p(\mathrm{x})\mathrm{d}\mathrm{z}\\ =& {\int }_{\mathrm{z}}q(\mathrm{z})\ln \frac{p(\mathrm{z},\mathrm{x})}{p(\mathrm{z}|\mathrm{x})}\mathrm{d}\mathrm{z}\\ =& {\int }_{\mathrm{z}}q(\mathrm{z})\ln \left(\frac{p(\mathrm{z},\mathrm{x})}{q(\mathrm{z})}\times \frac{q(\mathrm{z})}{p(\mathrm{z}|\mathrm{x})}\right)\mathrm{d}\mathrm{z}\\ =& {\int }_{\mathrm{z}}q(\mathrm{z})\ln \frac{p(\mathrm{z},\mathrm{x})}{q(\mathrm{z})}\mathrm{d}\mathrm{z}-{\int }_{\mathrm{z}}q(\mathrm{z})\ln \frac{p(\mathrm{z}|\mathrm{x})}{q(\mathrm{z})}\mathrm{d}\mathrm{z}\\ =& \mathcal{L}(q)+\mathrm{KL}(q||p)\\ ⩾& \mathcal{L}(q)\end{array}\text{\hspace{1em}(14.73)(14.74)}$$
其中，当$p(\mathrm{z}|\mathrm{x})=q(\mathrm{z})$时取等号。

式(14.73)即【西瓜书式(14.32)】，其中，由【西瓜书式(14.33)(14.34)】引入记号$\mathcal{L}(q)$与$\mathrm{KL}(q||p)$，后者称为KL散度，它具有非负性【西瓜书附录式(C.35)】。$\mathcal{L}(q)$中含有变量$p$，并引入了新的变量$q$，式(14.74)说明$\mathcal{L}(q)$为对数似然函数$\ln p(\mathrm{x})$的变分下界，由变分法原理知，最大化对数似然这时可转化为最大化$\mathcal{L}(q)$。

注：这里的变量$p$和$q$均为函数，故$\mathcal{L}(q)$为泛函$g[p,g]$。

为使$\mathcal{L}(q)$简单，考察局部$q_j(z_j)$，特将$z_j$从$\mathrm{z}$中分离出来，设 z = { z j } ∪ z − j \boldsymbol{\mathrm{z}}=\{z_j\}\cup\boldsymbol{\mathrm{z}}_{-j} z={zj​}∪z−j​，则式(14.72)变为
$$\begin{array}{rl}q(\mathrm{z})& =q_j(z_j)\prod _{i\ne j}^M{q}_i(z_i)\\ & =q_j(z_j)q_{-j}({\mathrm{z}}_{-j})\text{（引入记号简记）}\end{array}\text{\hspace{1em}(14.75)}$$
由概率性质有
$$\begin{array}{r}\{\begin{array}{l}{\int }_{\mathrm{z}}q(\mathrm{z})\mathrm{d}\mathrm{z}=1\\ {\int }_{{\mathrm{z}}_{-j}}{q}_{-j}({\mathrm{z}}_{-j})\mathrm{d}{\mathrm{z}}_{-j}=1\\ {\int }_{z_j}{q}_j(z_j)\mathrm{d}{z}_j=1\end{array}\end{array}\text{\hspace{1em}(14.76)}$$

又
$$\begin{array}{r}\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})={\int }_{{\mathrm{z}}_{-j}}{q}_{-j}({\mathrm{z}}_{-j})\ln p(\mathrm{x},\mathrm{z})\mathrm{d}{\mathrm{z}}_{-j}\end{array}\text{\hspace{1em}(14.77)}$$
$$\begin{array}{rl}{\int }_{\mathrm{z}}q(\mathrm{z})\ln p(\mathrm{x},\mathrm{z})\mathrm{d}\mathrm{z}& ={\int }_{z_j}{q}_j(z_j)\left({\int }_{{\mathrm{z}}_{-j}}{q}_{-j}({\mathrm{z}}_{-j})\ln p(\mathrm{x},\mathrm{z})\mathrm{d}{\mathrm{z}}_{-j}\right)\mathrm{d}{z}_j\text{（由式(14.75)）}\\ & ={\int }_{z_j}{q}_j(z_j)\left(\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})\right)\mathrm{d}{z}_j\text{（由式(14.77)）}\end{array}\text{\hspace{1em}(14.78)}$$
又
$$\begin{array}{rl}& {\int }_{\mathrm{z}}q(\mathrm{z})\ln q(\mathrm{z})\mathrm{d}\mathrm{z}\\ & ={\int }_{\mathrm{z}}{q}_j(z_j)q_{-j}({\mathrm{z}}_{-j})(\ln q_j(z_j)+\ln q_{-j}({\mathrm{z}}_{-j}))\mathrm{d}\mathrm{z}\\ & ={\int }_{\mathrm{z}}{q}_j(z_j)q_{-j}({\mathrm{z}}_{-j})\ln q_j(z_j)\mathrm{d}\mathrm{z}+{\int }_{\mathrm{z}}{q}_j(z_j)q_{-j}({\mathrm{z}}_{-j})\ln q_{-j}({\mathrm{z}}_{-j})\mathrm{d}\mathrm{z}\\ & ={\int }_{{\mathrm{z}}_{-j}}{q}_{-j}({\mathrm{z}}_{-j})\mathrm{d}{\mathrm{z}}_{-j}{\int }_{z_j}{q}_j(z_j)\ln q_j(z_j)\mathrm{d}{z}_j\\ & +{\int }_{{\mathrm{z}}_{-j}}{q}_{-j}({\mathrm{z}}_{-j})\ln q_{-j}({\mathrm{z}}_{-j})\mathrm{d}{\mathrm{z}}_{-j}{\int }_{z_j}{q}_j(z_j)\mathrm{d}{z}_j\\ & ={\int }_{z_j}{q}_j(z_j)\ln q_j(z_j)\mathrm{d}{z}_j+{\int }_{{\mathrm{z}}_{-j}}{q}_{-j}({\mathrm{z}}_{-j})\ln q_{-j}({\mathrm{z}}_{-j})\mathrm{d}{\mathrm{z}}_{-j}\text{（由式(14.76)）}\\ & ={\int }_{z_j}{q}_j(z_j)\ln q_j(z_j)\mathrm{d}{z}_j+\mathrm{const}\text{（与zj无关的项）}\end{array}\text{\hspace{1em}(14.79)}$$
$$\begin{array}{rl}& \mathcal{L}(q)\\ & ={\int }_{\mathrm{z}}q(\mathrm{z})\ln p(\mathrm{x},\mathrm{z})\mathrm{d}\mathrm{z}-{\int }_{\mathrm{z}}q(\mathrm{z})\ln q(\mathrm{z})\mathrm{d}\mathrm{z}\\ & ={\int }_{z_j}{q}_j(z_j)\left(\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})\right)\mathrm{d}{z}_j-{\int }_{z_j}{q}_j(z_j)\ln q_j(z_j)\mathrm{d}{z}_j\\ & +\mathrm{const}\text{（由式(14.77)、式(14.79)）}\\ & ={\int }_{z_j}{q}_j(z_j)\left[\left(\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})\right)+\mathrm{const}\right]\mathrm{d}{z}_j-{\int }_{z_j}{q}_j(z_j)\ln q_j(z_j)\mathrm{d}{z}_j\end{array}\text{\hspace{1em}(14.80)}$$
由$\mathbb{E}$的消元作用知，式(14.80)中$[\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\cdot ]$为变元$\mathrm{x},z_j$的函数（消去了${\mathrm{z}}_{-j}$），故可令
$$\begin{array}{r}\ln \tilde{p}(\mathrm{x},z_j)=\left(\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})\right)+\mathrm{const}\end{array}\text{\hspace{1em}(14.81)}$$
这里引入一个新的函数，函数符可以任意取，因它与$p$有一定的关系，故对应$\tilde{p}$，加$\ln$是为了便于计算。

将式(14.81)代入式(14.80)有
$$\begin{array}{rl}\mathcal{L}(q)& ={\int }_{z_j}{q}_j(z_j)(\ln \tilde{p}(\mathrm{x},z_j)-\ln q_j(z_j))\mathrm{d}{z}_j\\ & ={\int }_{z_j}{q}_j(z_j)\ln \frac{\tilde{p}(\mathrm{x},z_j)}{\ln q_j(z_j)}\mathrm{d}{z}_j\\ & =-\mathrm{KL}(q_j(z_j)||\tilde{p}(\mathrm{x},z_j))\end{array}\text{\hspace{1em}(14.82)}$$

由式(14.82)
$$\begin{array}{rl}{q}_j^{\ast }(z_j)& =\underset{q_j(z_j)}{\mathrm{argmax}}\mathcal{L}(q)\\ & =\underset{q_j(z_j)}{\mathrm{argmax}}(-\mathrm{KL}(q_j(z_j)||\tilde{p}(\mathrm{x},z_j))+\mathrm{const})\\ & =\underset{q_j(z_j)}{\mathrm{argmin}}\mathrm{KL}(q_j(z_j)||\tilde{p}(\mathrm{x},z_j))\\ & =\tilde{p}(\mathrm{x},z_j)\text{（由【西瓜书附录(C.35)】取最小点）}\\ & =\exp (\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})+\mathrm{const})\text{（由式(14.81)）}\\ & \propto \exp (\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z}))\end{array}\text{\hspace{1em}(14.83)}$$
概率化
$$\begin{array}{rl}{q}_j^{\ast }(z_j)& =\frac{\exp (\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z}))}{{\int }_{z_j}\exp (\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z}))\mathrm{d}{z}_j}\end{array}\text{\hspace{1em}(14.84)}$$
式(14.84)【西瓜书式(14.40)】即为满足可分解条件下的使$\mathcal{L}(q)$最大化的解。 求出所有$q_j^{\ast }(z_j)$代入式(14.72)即得要求的$q(\mathrm{z})$。

注意到式(14.84)的两边都含有$q$（右边是通过$\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}$隐式地包含$q$），实际上可将等式(14.84)变为递推式来求解：左边的$q$变为$q^{t+1}$，右边的$q$变为$q^t$，
只要$\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})$有关于$p(\mathrm{x},\mathrm{z})$的闭式解，即可用递推式方便地进行求解。

式(14.84)中为求$q_j^{\ast }(z_j)$，却要通过$\underset{{\mathrm{z}}_{-j}}{\mathbb{E}}\ln p(\mathrm{x},\mathrm{z})$融合${\mathrm{z}}_{-j}$，因“期望”有“平均”的意思，故该方法亦称为“平均场”方法。

另外，式(14.84)是对$\mathrm{z}$中的任一个分量$z_j$而推导的，事实上，将$z_j$换成子集${\mathrm{z}}_j$仍成立。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：14.8 再谈吉布斯采样（将“多变量”联合采样变为交替地“单变量”采样）
下一篇：14.10 变分推断用于EM算法