【隐变量（潜在变量）模型】硬核介绍

回忆：上一节我们介绍了贝叶斯推断的几种方法，那么贝叶斯推断的目的是什么？

当我们知晓了后验分布$p(\theta |\mathbf{y})$后，就可以以此为基础得到贝叶斯后验预测分布$p(\tilde{y}|\mathbf{y})$。因为 $\tilde{y}$ 和 $y$ 在给定$\theta$ 时条件独立（$y\to \theta \to \tilde{y}$)，所以 $f(\tilde{y},\theta |\mathbf{y})=f(\tilde{y}|\theta ,\mathbf{y})p(\theta |\mathbf{y})=f(\tilde{y}|\theta )p(\theta |\mathbf{y})$，通过积分将 $\theta$ 边缘化我们得到了 $p(\tilde{y}|\mathbf{y})=\int f(\tilde{y}|\theta )p(\theta |\mathbf{y})d\theta$。

问题：当我们不知道观测数据 x = { x 1 , x 2 , ⋯   , x n } \pmb{x}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​} 抽样于什么分布时，即未知的似然函数$L(\theta ,x)=p(x|\theta )$。此时我们无法通过常规贝叶斯推断求得后验分布，也无法得到后验预测分布。

1.参数模型

基于上述问题，我们希望用一个参数模型 $p_W(x)$ 来尽可能拟合似然函数 $p(x|\theta )$。而模型 $p_W(x)$ 一般是一个深度神经网络，因为DNN可以拟合任意函数。

有了模型 $p_W(x)$ 和观测数据 x = { x 1 , x 2 , ⋯   , x n } \pmb{x}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}，我们可以通过最大似然法ML来找到最优的模型参数：$W^{\ast }=\arg \underset{W}{\max }{\sum }_{i=1}^n\log p_W(x)$。

2.潜在变量（Latent Variable）

在实际情况下，有一些潜在变量可能无法直接通过观测数据观察到，于是我们引入潜在变量 $z$ 来表示。

【举个例子】：观察下图，表面上我们观测到的数据是一堆点 x = { x 1 , x 2 , ⋯   , x n } \pmb{x}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​}，但实际上我们可以直观的发现这些点以某种概率采样自四个不同的分布（假设都是高斯分布）。而潜在变量 $z_i$ 控制了 $x_i$ 从哪个分布中采样：$x_i\sim N({\mu }_{z_i},{\sigma }_0^2)$，为了简化问题，假设${\sigma }_0$已知。于是，潜在变量 $z_i$ 表示观测变量 $x_i$ 对应类别的序号。

3.潜变量模型（Latent Variable Model）

【一个重要假设】：每个观测变量只与某个特定的潜在变量直接相关。

3.1 目标：最大边际似然

因为 $z$ 无法直接观测，所以我们无法通过最大联合似然得到最优的模型参数：$W^{\ast }=\arg \underset{W}{\max }{\sum }_{i=1}^n\log p_W(x_i,z_i)$。所以必须对 $z$ 进行边缘化，通过积分，将所有可能的 $z$ 的影响考虑进去。于是我们得到了边际似然：$p_W(x)={\int }_z{p}_W(x,z)dz={\int }_z{p}_W(x|z)p(z)dz$，随后我们通过最大边际似然找到最优的模型参数：$W^{\ast }=\arg \underset{W}{\max }{\sum }_{i=1}^n\log p_W(x_i)$。其中，$p_W(x|z)$ 称为条件似然（模型的输出），$p(z)$是潜变量的先验分布。

3.2 难点：边际似然的求解

但问题是，边际似然 $p_W(x)=E_{z\sim p(z)}[p_W(x|z)]$ 的求解十分棘手！！这是因为边缘化积分可能没有解析解，尤其是对于复杂模型，计算这个积分是非常棘手的。

观察边际似然：$p_W(x)={\int }_z{p}_W(x|z)p(z)dz$，结合贝叶斯公式：$p_W(z|x)=\frac{p_W(x|z)p(z)}{p_W(x)}$，可见在潜变量模型中，我们可以通过估计后验分布 $p_W(z|x)$ 来近似边际似然 $p_W(x)$。

3.3 办法：通过估计后验分布近似边际似然

可以证明：$p_W(z_i|x,z_{-i})=p_W(z_i|x_i)$。这意味着，潜在变量 $z_i$ 的后验分布只依赖于对应的观测数据 $x_i$ ，而与其他潜在变量 $z_{-i}$ 和观测变量 $x_{-i}$ 无关。

因此，后验分布 $p_W(z|x)={\prod }_{i=1}^n{p}_W(z_i|x_i)$，对每一对变量 $(x_i,z_i)$，我们使用均场变分推断：$p_W(z_i|x_i)\approx q_{{\varphi }_i}(z_i)$，通过最大化ELBO找到最优的 $q_{{\varphi }_i}(z_i)$。至此，便能通过估计后验分布$p_W(z|x)$ 来近似边际似然。