CS236 Deep Generative Models （4）

概述

Latent Variable与Autoregressive Model的区别：

• Autoregressive使用DAG图、假设参数来近似Chain Rule即$p(x_1,...,x_n)=p(x_1)p(x_2|x_1)\cdots p(x_n|x_1,...,x_{n-1})$
• Autoregressive的数据是完全可观测的，即随机变量$x_i$的值，如Pixel
• 啰嗦一下，我们观测的样本，可以理解成某些随机变量下的值，我们建模的是随机变量的关系（结构、参数），整个过程就是通过随机变量的值来估计随机变量的关系
• Latent Variable Model就是假设了$p(x_1,...,x_n)$中的某些随机变量$x_i,...,x_j$是不可观测的，但又与样本生成的值有关
• Autoregressive学习不到Unsupervised Representative Vector，但Latent可以学到（后面会提到）

下面主要先从离散Latent Variable即GMM，扩展到连续Latent Variable即VAE，最后再介绍Variational Infenence的方式进行Learning

一、GMM

1.1 GMM建模

对一个image来说，在前面建模时，把每个pixel当成随机变量$x_i$，这些都是可观测的，但$p(x_1,...,x_n)$中的一些pixels的关系受隐变量$z_i$的控制，如性别Gender,种族Ethnicity等等，因此对隐变量囊括进来的联合分布$P(X,Z)$一起建模。

对于$K$个高斯分布的混合模型GMM来说：

• $z\sim Categorical(p_1,...,p_K)$，隐变量$Z$服从参数为$p_1,p_2,...p_K$的多项式分布。（一般可假设为均匀分布）
• $p(x|z=k)=N(u_k,{\Sigma }_k)$，对于隐变量$Z$的第k个取值，随机变量$X$服从参数为$u_k,{\Sigma }_k$的高斯分布
• 特别提醒：
  当GMM模型的参数$p_1,p_2,...,p_K$与$u_1,...,u_K,{\sigma }_1,...,{\sigma }_K$通过$X_{train}$学习好后，输入一测试样本$x_{test}^{(i)}$，即可得到其属于$K$个高斯分布的概率向量$(P_1,...,P_K)$，这就是latent variable model 可以学习到Unsupervised Learning Representation的原因，区别于Autoregressive Model的地方
  $$\begin{gathered} p(X_{train})=\sum _{k=1}^{K}p(X_{train}|Z=k)p(Z=k) \\ p(Z=k|x_{test}^{(i)})=\frac{p(Z=k,x_{test}^{(i)})}{p(x_{test}^{(i)})}=\frac{p(Z=k,x_{test}^{(i)})}{{\sum }_{k=1}^{K}p(x_{test}^{(i)}|Z=k)p(Z=k)} \end{gathered}$$
  GMM的参数模型可用EM算法进行学习，此处不提EM算法，可参见刘建平的EM算法总结。

1.2 生成式中的三大基本问题

• Representation：假设$p(Z)$是多项式分布$Cat$，$p(X|Z)$是高斯分布$N$，从而对联合分布$p(X,Z)=p(X|Z)p(Z)$建了模
• Inference：通过数据样本$x^{(i)}=(x_1^{(i)},x_2^{(i)},...x_n^{(i)})$来推断模型参数即$p(Z=k|x^{(i)})$
• Learning : 使用（MLE）Maximum Likelihood Learning，即$\underset{\theta }{\mathrm{argmax}}{\sum }_{i}log{p}_{\theta }(x^{(i)})$，可回顾Deep Generative Models (3)，但此处是用EM算法进行Learn的，与MLL还是有点小差别。

二、VAE

2.1 VAE建模

对于VAE来说，将GMM中的$K\to \infty$:

• $z\sim N(0,I)$
• $p(x|z)=N(u_{\theta }(z),{\Sigma }_{\theta }(z))$ （这里对结构进行了高斯分布的假设，但对高斯分布的参数用$\theta$建了模）
• 问题出现在$p(x)=\int p(z)(x|z)dz$，对无穷多个高斯分布求积分，是intractable的，就是说，之前的MLL💊（完蛋）！

1. 分析一下💊的问题
   D = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } D={\{x^{(1)},x^{(2)},\cdots,x^{(N)}\}} D={x(1),x(2),⋯,x(N)}，MLL最大化似然函数$L(\theta ,D)$：
   $$\begin{array}{rl}L(\theta ,D)=log\prod _{i\in D}p(x^{(i)};\theta )& =\sum _{i\in D}logp(x^{(i)};\theta )=\sum _{i\in D}log\int p(x^{(i)},z;\theta )dz\\ & {\theta }^{t+1}\leftarrow {\theta }^t+{\nabla }_{\theta }L(\theta )\end{array}$$

   这个$\int p(x^{(i)},z;\theta )dz$是intractable的，怎么算？

2. 只能用Important Sampling来近似解决了
   $$\begin{array}{rl}logp(x^{(i)};\theta )=log\int p(x^{(i)},z;\theta )dz& =log\int \frac{q_i(z)}{q_i(z)}p(x^{(i)},z;\theta )dz\\ & =log{E}_{z\sim q_i(z)}\left[\frac{p(x^{(i)},z;\theta )}{q_i(z)}\right](1)\\ & \ge E_{z\sim q_i(z)}\left[log\frac{p(x^{(i)},z;\theta )}{q_i(z)}\right](2)\\ & =E_{z\sim q_i(z)}[logp(x^{(i)},z;\theta )]+H(q_i(z))\\ & =ELBO(EvidenceLowerBound)\end{array}$$

   换一下表述：$p(x^{(i)},z;\theta )=p_{\theta }(x^{(i)},z)$

   所以对于每一个样本有：
   $$log{p}_{\theta }(x^{(i)})\ge E_{z\sim q_i(z)}[log{p}_{\theta }(x^{(i)},z)]+H(q_i)$$

   $$记L_i(p_{\theta },q_i)=E_{z\sim q_i(z)}[log{p}_{\theta }(x^{(i)},z)]+H(q_i)$$

3. 一个美妙的结论
   先下结论：
   $$log{p}_{\theta }(x^{(i)})=L_i(p_{\theta },q_i)+KL(q_i(z)||p_{\theta }(z|x^{(i)}))$$

   然后证明：
   $$\begin{array}{rl}KL(q_i(z)||p_{\theta }(z|x^{(i)}))& =\int q_i(z)log\frac{q_i(z)}{p(z|x^{(i)})}dz\\ & =\int q_i(z)log{q}_i(z)dz-\int q_i(z)logp(z|x^{(i)})dz\\ & =-H(q_i)-\int q_i(z)log\frac{p(x^{(i)},z)}{p(x^{(i)})}dz\\ & =-H(q_i)-E_{z\sim q_i(z)}logp(x^{(i)},z)+\int q_i(z)logp(x^{(i)})dz\\ & =-L_i(p_{\theta },q_i)+log{p}_{\theta }(x^{(i)})\end{array}$$
   $$\underset{\theta }{\mathrm{argmax}}\sum _{i}log{p}_{\theta }(x^{(i)})\equiv \underset{\theta }{\mathrm{argmax}}{L}_i(p_{\theta },q_i)同时\underset{q_i}{\mathrm{argmin}}KL(q_i||p_{\theta }(z|x^{(i)}))$$

4. 结论的来源
   求知欲更强一点就是，这个$KL(q_i(z)||p_{\theta }(z|x^{(i)}))$中的$p_{\theta }(z|x^{(i)})$是怎么来的呢？

   在最上面的推导$(1)$到$(2)$中使用了$logE[f]\ge E[logf]$，且等号成立条件为$\frac{p_{\theta }(x^{(i)},z)}{q_i(z)}=c$，且$\int q_i(z)dz=1,c$为常数，有

   $$\begin{gathered} \int q_i(z)dz=\int \frac{p_{\theta }(x^{(i)},z)}{c}dz=1 \\ \int p_{\theta }(x^{(i)},z)dz=p_{\theta }(x^{(i)})=c \\ {q}_i(z)=\frac{p_{\theta }(x^{(i)},z)}{c}=\frac{p_{\theta }(x^{(i)},z)}{p_{\theta }(x^{(i)})}=p_{\theta }(z|x^{(i)}) \end{gathered}$$

2.2 VAE建模总结

到这里梳理一波（搞清逻辑很关键！）：

• 一个样本的似然函数$$\begin{array}{rl}log{p}_{\theta }(x^{(i)})& =L_i(p_{\theta },q_i)+KL(q_i(z)||p_{\theta }(z|x^{(i)}))\\ & =E_{z\sim q_i(z)}[log{p}_{\theta }(x^{(i)},z)]+H(q_i)+KL(q_i(z)||p_{\theta }(z|x^{(i)}))\end{array}$$

• VAE的假设中$p_{\theta }(x|z)=N(u_{\theta }(z),{\sigma }_{\theta }(z))，z\sim N(0,I),p_{\theta }(x,z)=p_{\theta }(x|z)p(z),p_{\theta }(z|x)=\frac{p_{\theta }(x,z)}{p_{\theta }(x)}$

• 问题就在于$p_{\theta }(x^{(i)})$是intractable的，因此$p_{\theta }(z|x^{(i)})$也intractable，想最大化似然函数$log{p}_{\theta }(x^{(i)})$，就得知道$p_{\theta }(z|x^{(i)})$，其又intractable，于是只能使用简单可采样的分布$q_i(z)$去逼近$p_{\theta }(z|x^{(i)})$

• 参数化$q_i(z;{\varphi }^{(i)})$，调整${\varphi }^{(i)}$，使$KL(q_i(z;{\varphi }^{(i)})||p_{\theta }(z|x^{(i)}))$最小，等价于使$L_i(p_{\theta },q_{{\varphi }^{(i)}})$最大。

三、Variational Inference and Learning

3.1 变分推断的含义与思路

根据上面的VAE分析
D = { x ( 1 ) , x ( 2 ) , ⋯   , x ( M ) } D={\{x^{(1)},x^{(2)},\cdots,x^{(M)}\}} D={x(1),x(2),⋯,x(M)}，最大化似然函数$L(\theta ,D)$：
$$\begin{array}{rl}\underset{\theta }{\max }L(\theta ,D)& =\underset{\theta }{\max }log\prod _{i\in D}p(x^{(i)};\theta )\\ & =\underset{\theta }{\max }\sum _{i\in D}log{p}_{\theta }(x^{(i)})\\ & =\underset{\theta }{\max }\sum _{i\in D}{L}_i(p_{\theta },q_i)+KL(q_i(z)||p_{\theta }(z|x^{(i)}))\\ & =\underset{\theta }{\max }\sum _{i\in D}{E}_{z\sim q_i(z)}[log{p}_{\theta }(x^{(i)},z)]+H(q_i)+KL(q_i(z)||p_{\theta }(z|x^{(i)}))\\ & \ge \underset{\theta ,{\varphi }^{(1)},...,{\varphi }^{(M)}}{\max }\sum _{i\in D}{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[log{p}_{\theta }(x^{(i)},z)-log{q}_{{\varphi }^{(i)}}(z)]\\ & =\underset{\theta ,{\varphi }^{(1)},...,{\varphi }^{(M)}}{\max }\sum _{i\in D}L(x^{(i)};\theta ,{\varphi }^{(i)})\end{array}$$

• 关键Learning的思路

1. 利用${\varphi }^{(i)}$参数化分布$q_i(z)$后，上述看成固定$\theta$，最小化$KL(q_i(z;{\varphi }^{(i)})||p_{\theta }(z|x^{(i)}))$中的参数${\varphi }^{(i)}$
2. 然后固定${\varphi }^{(i)},i=1,...,M$,最大化$L(x^{(i)};\theta ,{\varphi }^{(i)})$中的参数$\theta$
3. 迭代更新$\theta ,\varphi$，参数收敛后即完成Learning过程，如下图。
   

• 变分推断的含义
  Variational Inference中的Variational就是针对一个固定的$\theta$，根据objective function变动每个样本的${\varphi }^{(i)}$，而Inference在一开始提到大概意思，通过样本估计参数，即$p_{\theta }(z|x^{(i)})$，最终意思Inference通过variational的方式逼近计算得到，称Variational Inference。

3.2 变分推断的算法

3.2.1 Stochastic Variational Inference

数据集 D = { x ( 1 ) , x ( 2 ) , ⋯   , x ( M ) } D={\{x^{(1)},x^{(2)},\cdots,x^{(M)}\}} D={x(1),x(2),⋯,x(M)}
优化目标：
$$\underset{\theta ,{\varphi }^{(1)},...,{\varphi }^{(M)}}{\max }\sum _{i\in D}L(x^{(i)};\theta ,{\varphi }^{(i)})=\underset{\theta ,{\varphi }^{(1)},...,{\varphi }^{(M)}}{\max }\sum _{i\in D}{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[log{p}_{\theta }(x^{(i)},z)-log{q}_{{\varphi }^{(i)}}(z)]$$

SVI的算法流程：

1. 初始化$\theta ,{\varphi }^{(1)},...,{\varphi }^{(M)}$
2. 随机sample一个样本$x^{(i)}\in D$
3. 固定$\theta$，在$L(x^{(i)};\theta ,{\varphi }^{(i)})$中优化${\varphi }^{(i)}$:
   1. Repeat ${\varphi }^{(i)}\leftarrow {\varphi }^{(i)}+{\alpha }_1{\nabla }_{{\varphi }^{(i)}}L(x^{(i)};\theta ,{\varphi }^{(i)})$
   2. Until ${\varphi }^{(i)}\approx \underset{{\varphi }_{\ast }^{(i)}}{\mathrm{argmax}}L(x^{(i)};\theta ,{\varphi }^{(i)})$
4. 固定${\varphi }_{\ast }^{(i)}$，计算${\nabla }_{\theta }L(x^{(i)};\theta ,{\varphi }_{\ast }^{(i)})$
5. $\theta \leftarrow \theta +{\alpha }_2{\nabla }_{\theta }L(x^{(i)};\theta ,{\varphi }_{\ast }^{(i)})$

算法流程大致明晰了，但gradient的计算好像不太清楚即${\nabla }_{{\varphi }^{(i)}}L(x^{(i)};\theta ,{\varphi }^{(i)})$和${\nabla }_{\theta }L(x^{(i)};\theta ,{\varphi }_{\ast }^{(i)})$，下面具体展开来算算。

$$\begin{array}{rl}L(x^{(i)};\theta ,{\varphi }^{(i)})& =E_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )-logq(z;{\varphi }^{(i)})]\\ & \approx \frac{1}{K}\sum _{k=1}^K[logp(x^{(i)},z^k;\theta )-logq(z^k;{\varphi }^{(i)})]\end{array}$$

因为假设$q(z;{\varphi }^{(i)})$是比较好采样的，而且tractable，所以可以使用MC estimation对期望进行估计。

3.2.2 关于$\theta$的梯度计算

$$\begin{array}{rl}{\nabla }_{\theta }L(x^{(i)};\theta ,{\varphi }^{(i)})& ={\nabla }_{\theta }{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )-logq(z;{\varphi }^{(i)})]\\ & ={\nabla }_{\theta }{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )]\\ & \approx \frac{1}{K}\sum _{k=1}^{K}logp(x^{(i)},z^k;\theta )\end{array}$$

$$\begin{gathered} logp(x^{(i)},z^k;\theta )=logp(x^{(i)}|z^k;\theta )p(z^k) \\ P(z)=N(0,I) \\ P(x|z^k;\theta )=N(u_{\theta }(z^k),{\Sigma }_{\theta }(z^k)) \end{gathered}$$

所以可以算出$p(z^k)$和$p(x^{(i)}|z^k,\theta )$的概率密度，这关于$\theta$的Gradient好求！

$$\begin{array}{rl}{\nabla }_{{\varphi }^{(i)}}L(x^{(i)};\theta ,{\varphi }^{(i)})& ={\nabla }_{{\varphi }^{(i)}}{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )-logq(z;{\varphi }^{(i)})]\end{array}$$

这个关于${\varphi }^{(i)}$的Gradient在期望中$E_{z\sim q_{{\varphi }^{(i)}}(z)}$有点麻烦呀=。=

抽象一下表述：

$$\begin{gathered} {\nabla }_{{\varphi }^{(i)}}{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )-logq(z;{\varphi }^{(i)})]={\nabla }_{{\varphi }^{(i)}}{E}_{q(z;{\varphi }^{(i)})}[r(z;{\varphi }^{(i)})] \\ r(z;{\varphi }^{(i)})=E_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )-logq(z;{\varphi }^{(i)})] \end{gathered}$$

3.2.3 关于$\varphi$的梯度计算

• Reparameterization trick
  $$\begin{gathered} E_{q(z;\varphi )}[r(z)]=\int q(z;\varphi )r(z)dz \\ z\sim q(z;\varphi )=N(u,{\sigma }^{2}I) \end{gathered}$$

所以$\varphi =u,{\sigma }^2$,$z$必须是连续变量

从$N(u,{\sigma }^{2}I)$中采样$z$相当于增加一个自由参数 ϵ ∼ N ( 0 , I ) , z = u + ϵ σ = g ( ϵ ; ϕ = { u , σ } ) \epsilon\sim N(0,I),z=u+\epsilon\sigma=g(\epsilon;\phi=\{u,\sigma\}) ϵ∼N(0,I),z=u+ϵσ=g(ϵ;ϕ={u,σ})

在$E_{q(z;\varphi )}[r(z)]$代入 z = u + ϵ σ , ϕ = { u , σ } z=u+\epsilon\sigma,\phi=\{u,\sigma\} z=u+ϵσ,ϕ={u,σ}得：

$$\begin{array}{rl}& E_{q(z;\varphi )}[r(z)]=E_{ϵ\sim N(0,I)}[r(g(ϵ;\varphi )]=\int p(ϵ)r(u+\sigma ϵ)dϵ\\ & {\nabla }_{\varphi }{E}_{q(z;\varphi )}[r(z)]={\nabla }_{\varphi }{E}_{ϵ}[r(g(ϵ;\varphi ))]=E_{ϵ}[{\nabla }_{\varphi }r(g(ϵ;\varphi )]\\ & \approx \frac{1}{K}\sum _{k=1}^K{\nabla }_{\varphi }r(g({ϵ}^k;\varphi )\end{array}$$

所以最终有：

$$\begin{array}{rl}{\nabla }_{{\varphi }^{(i)}}{E}_{q(z;{\varphi }^{(i)})}[r(z;{\varphi }^{(i)})]& ={\nabla }_{{\varphi }^{(i)}}{E}_{z\sim q_{{\varphi }^{(i)}}(z)}[logp(x^{(i)},z;\theta )-logq(z;{\varphi }^{(i)})]\\ & ={\nabla }_{{\varphi }^{(i)}}{E}_{ϵ\sim N(0,I)}[r(g(ϵ;{\varphi }^{(i)});{\varphi }^{(i)})]\\ & \approx {\nabla }_{{\varphi }^{(i)}}\frac{1}{K}\sum _{k=1}^K[r(g({ϵ}^k;{\varphi }^{(i)});{\varphi }^{(i)})]\end{array}$$

• REINFROCE的做法

$$\begin{gathered} J(\theta )=E_{\tau \sim {\pi }_{\theta }(\tau )}[r(\tau )] \\ {\nabla }_{\theta }J(\theta )=E_{{\pi }_{\theta }(\tau )}[{\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )] \end{gathered}$$

因此有

$$\begin{array}{rl}{\nabla }_{{\varphi }^{(i)}}{E}_{q(z;{\varphi }^{(i)})}[r(z;{\varphi }^{(i)})]& =E_{q(z;{\varphi }^{(i)})}[{\nabla }_{\varphi }log{q}_{{\varphi }^{(i)}}(z)r(z;{\varphi }^{(i)})]\\ & \approx \frac{1}{K}\sum _{k=1}^K[{\nabla }_{\varphi }log{q}_{{\varphi }^{(i)}}(z^k)r(z^k;{\varphi }^{(i)})]\end{array}$$

对离散还是连续的变量$z$均可使用，问题就是high variance！

3.3 Amortized Inference

前面的SVI，对一个data样本$x^{(i)}$，逼近其$p(z|x^{(i)})$，对应了一组高斯分布的参数 ϕ ( i ) = { u ( i ) , σ ( i ) , ϵ ( i ) } \phi^{(i)}=\{{u^{(i)},\sigma^{(i)}},\epsilon^{(i)}\} ϕ(i)={u(i),σ(i),ϵ(i)}，麻烦，为什么不直接使用一个mapping，建立样本与参数空间${\varphi }^{(i)}$的映射呢？即输入一个$x^{(i)}$，输出其服从的高斯分布的参数 { u ( i ) , σ ( i ) } \{{u^{(i)},\sigma^{(i)}}\} {u(i),σ(i)}，记为$q_{\varphi }(z|x)$

目标函数为：
$$L(x;\theta ,\varphi )=E_{q_{\varphi }(z|x)}[logp(x,z;\theta )-log{q}_{\varphi }(z|x)]$$

所以算法流程为：

1. 初始化${\theta }^{(0)},{\varphi }^{(0)}$
2. 在数据集 D = { x ( 1 ) , x ( 2 ) , . . . , x ( M ) } D=\{x^{(1)},x^{(2)},...,x^{(M)}\} D={x(1),x(2),...,x(M)}中采样$x^{(i)}$
3. 计算梯度${\nabla }_{\theta }L(x^{(i)};\theta ,\varphi )$与${\nabla }_{\varphi }L(x^{(i)};\theta ,\varphi )$
4. 更新参数$\theta ,\varphi$

四、VAE的总结

4.1 VAE Perspective

$$\begin{array}{rl}L(x;\theta ,\varphi )& =E_{q_{\varphi }(z|x)}[logp(x,z;\theta )-log{q}_{\varphi }(z|x)]\\ & =E_{q_{\varphi }(z|x)}[logp(x,z;\theta )-logp(z)+logp(z)-log{q}_{\varphi }(z|x)]\\ & =E_{q_{\varphi }(z|x)}[logp(x|z;\theta )]-D_{KL}(q_{\varphi }(z|x)||p(z))\end{array}$$

解释一下：

• 输入一个真实样本$x^{(i)}$
• Encoder通过采样$q_{\varphi }(z|x^{(i)})$将$x^{(i)}$映射到隐变量上$\hat{z}$即高斯分布的参数
• Decoder通过采样$p(x|\hat{z};\theta )$将在隐变量$\hat{z}$上的样本$\hat{x}$重构出来

解析目标函数的作用：

• $E_{q_{\varphi }(z|x)}[logp(x|z;\theta )]$使$\hat{x}\approx x^{(i)}$
• $D_{KL}(q_{\varphi }(z|x)||p(z))$使隐变量表示更加接近于先验的$p(z)$，即一般情况下$z\sim N(0,I)$

4.2 总结

总结照常偷懒：

后记

如果是小白，第一次看可能会懵逼，在看的过程中注意以下问题：

• 为什么需要用分布$q(z)$去逼近$p(z|x)$？
• 符号上$p(x;\theta )$与$p_{\theta }(x)$是同一个意思，有时候用不同的表述会更清晰和简洁，但不熟悉的会混淆
• 做建模的时候，参数化一个分布是什么意思？

感觉应该把整个问题讲清楚了，一直觉得公式的准确使用，有时候会很繁琐，但有助于理解问题，可惜的是，好多资料的notation都有一定程度的简化，对于想通过公式知道整个问题怎么做、怎么算，有点难呀～
后续补一点图、补一点实验。

（总感觉理解得不是很透彻，总缺了点东西，应该是网络的动态梯度更新过程，并没有呈现在脑海中orz= =）

参考资料：
CS236的PPT lec5-6