从零点五开始的深度学习笔记——VAE(Variational AutoEncoder) （一） 预备知识

1. VAE变分自动编码器

变分自动编码器是生成模型（generative model）中常见的系列之一，常见的生成模型还有GAN。这篇博文主要参考了 Ahlad Kumar视频中对VAE核心公式的解释和推导，力图将完整的实现和推导过程整理成笔记。这篇笔记所整理的内容是2019年1月11日的一个Ahlad Kumar博主的VAE系列视频教程，除此之外还加入了一些个人的理解。我们将逐渐过渡到cVAE (conditional Variational AutoEncoder)。

视频参考链接：https://www.youtube.com/watch?v=w8F7_rQZxXk

1.1 Stacked AutoEncoder 回顾

下面的图片展示了Stacked AutoEncoder的结构图（来源为lilianweng github账号中的一张图片），主要包括一个编码器，一个bottleneck和一个解码器，任务目标是重建图像（看图中的Cost function），最终得到一个bottleneck，作为图像的低维表示。

1.2 Variational AutoEncoder 结构

VAE的主要结构与Stacked AutoEncoder的别无二致，区别在于，使用了概率论的相关知识去实现编码器，和解码器，而bottleneck部分则是通过才采样获得的。想要完全理解VAE，其核心在于理解Loss函数的构成。

2. 预备知识

废话不多说，我们先来充一下电，补充点预备知识，正如标题所说，是零点五起步的学习笔记，因此对某些内容将不做进一步的介绍。

2.1 概率

2.1.1 概率分布

$p(x)$：随机变量$x$的概率。试想，如果一个变量是随机变化阴晴不定的，那我们应该如何描述和使用它？答案是期望，我们可以简单地认为一个随机变量的期望是确定的，具有统计学意义的（粗糙地理解为可被用于计算的）。一个随机变量的期望的计算公式可以有多种写法，离散的，连续的，还有各种简化的表示方法，下面我们将它用等号串起来：
$${\mathbb{E}}_p\left[x\right]={\mathbb{E}}_{x\sim p}\left[x\right]=\int xp(x)dx=\sum _i^k{x}_{i}p(x_i)$$
由上式，可以理解为一个随机变量的期望就是这个变量沿着概率分布的加权平均。其中，离散的概率分布函数简称pmf (probability mass function)，而连续的概率的分布函数简称pdf (probability density function)

2.1.2 条件概率

$p(x|y)$：当$y$事件发生（随机变量确定）时，随机变量$x$的概率，也被称为条件概率。如下图不难理解，在不同事件发生的时候，x的概率是不同的。也就是说，由于引入了更多的信息（如哪个$y$事件发生了）， $x$时间发生的概率也会随之更新，从而给出相对而言更加准确的预测。

2.1.3 贝叶斯定理 （Baye’s theorem）

贝叶斯定理的公式如下，其中$p(y|x)$表示后验概率posterier probability，$p(y)$表示先验概率prior probability, $\frac{p(x|y)}{p(x)}$表示可能性比例likelihood ratio，$p(x,y)$叫联合概率分布joint probability distribution。
$$\begin{array}{c}\begin{array}{rl}p(y|x)& =\frac{p(x|y)p(y)}{p(x)}=\frac{p(x,y)}{p(x)}\end{array}\end{array}$$
那么贝叶斯定理具体是怎么应用于生活实践中的呢？总的来说就是模型求逆的过程。首先我们得到一堆有$x$有$y$的数据，$y$是天气类型，如晴天，阴天，多云，大雨，暴雨等，$x$为前一天的气象参数，如气压，温度，湿度，风速等相关的信息。我们采集到了今天的气象数据$x$，明天应该是什么天气？这个问题在贝叶斯定理看来就是求解$p(y|x)$的问题。我们可以通过历史数据，统计出不同天气出现的概率$p(y)$，以及出现不同天气时，前一天的气象参数出现的概率$p(x|y)$。这时候，距离获得$p(y|x)$仅仅一步之遥，也就是利用下面的全概率定理求解出不同气象参数出现的概率$p(x)$。

2.1.4 全概率定理（Theorem of total probability）

假设$y_i$(i=1,…,N)为N个互斥事件，那么$x$事件发生的概率为：
$$p(x)=\sum _i^{N}p(x|y_i)p(y_i)$$

因此，上面的贝叶斯公式也可以写为：
$$\begin{array}{c}p(y|x)=\frac{p(x|y)p(y)}{{\sum }_i^{N}p(x|y_i)p(y_i)}\end{array}$$

2.2 矩阵迹计算技巧

1. 如果$x$是一个标量，那么他的期望等于他的迹，$\mathbb{E}[x]=\mathbb{E}[tr(x)]$
2. 设$A,B,C$维度兼容的矩阵，那么矩阵的运算满足，期望和迹可交换，迹中的三个连乘矩阵可按序循环交换：
   $$\begin{array}{c}\begin{array}{rl}tr(AB)=& tr(BA)\\ tr(ABC)=& tr(BCA)=tr(CAB)\\ \mathbb{E}[tr(x)]=& tr(\mathbb{E}[x])\end{array}\end{array}$$
3. 期望计算的变换
   $$\mathbb{E}[x^{T}Ax]=\mathbb{E}[tr(x^{T}Ax)]=\mathbb{E}[tr(Ax{x}^T)]=tr(\mathbb{E}[Ax{x}^T])$$

2.3 KL散度 (Kullback-Leibler Divergence)

2.3.1 介绍

正常人看到KL都会想要问一句，什么是KL散度？从名字上面确实是看不出KL表达的是什么意思的，因为K->Kullback， L->Leibler是KL散度提出者名字的首字母，而散度divergence，可以理解为散开的程度。KL散度是计算两个概率分布之间的距离的度量。也就是说，两个概率分布相差约大，这个计算值因该越大，反之则越小，下面是计算公式：
$$\begin{array}{c}{\mathbb{D}}_{KL}\left(P||Q\right)=\sum _{x}P(x)log\left(\frac{P(x)}{Q(x)}\right)\end{array}$$

• 例子： 假设有离散事件$x$的可能取值为{0, 1, 2}, 概率分布$P(x)$中$P(0)=0.36,P(1)=0.48,P(2)=0.16$, 概率分布$Q(x)$中$Q(0)=Q(1)=Q(2)=\frac{1}{3}$. 则$P$和$Q$的KL散度是多少？
  我们已经是有计算机且会简单写点Python的成年人了，当然编程安排一下：

'''
Author       : Dianye Huang
Date         : 2022-08-23 10:04:45
LastEditors  : Dianye Huang
LastEditTime : 2022-08-23 10:21:41
Description  : 
'''

import math 
class MetricZoo(object):
    def __init__(self) -> None:
        pass
    
    @staticmethod
    def D_KL(P:list, Q:list):
        '''
        Description: 
            Kullback-Leibler Divegence which computes the distance 
            between two probability distributions. 
        @ param : P{list}    -- list of distribution  
        @ param : Q{list}    -- list of distribution
        @ return: dkl{float} -- a scalar 
        '''        
        dkl = 0 
        for p, q in zip(P, Q):
            dkl += p*math.log(p/q) # in math module, log -> ln
        return dkl

if __name__ == '__main__':
    mz = MetricZoo()
    P = [0.36, 0.48, 0.16]
    Q = [1/3]*3
    KL_P_Q = round(mz.D_KL(P, Q), 5)
    KL_Q_P = round(mz.D_KL(Q, P), 5)
    print(f'D_KL(P||Q): {KL_P_Q}')
    print(f'D_KL(Q||P): {KL_Q_P}')

    ''' ----- output
    D_KL(P||Q): 0.0853
    D_KL(Q||P): 0.09746 
    '''

2.3.2 KL散度的属性(properties)：

• ${\mathbb{D}}_{KL}(P||Q)\ge 0$， ${\mathbb{D}}_{KL}(Q||P)\ge 0$
• ${\mathbb{D}}_{KL}(P||Q)\ne {\mathbb{D}}_{KL}(Q||P)$, 不满足对称性, 如上面代码的例子

2.3.3 多变量正态分布之间的KL散度计算

条件：
计算两个多变量正态分布(multi-variate normal distributions) $p(x)$和$q(x)$之间的KL散度。
$$\begin{array}{c}\begin{array}{rl}p(x)& =\mathcal{N}(x;{\mu }_1,{\Sigma }_1)\\ q(x)& =\mathcal{N}(x;{\mu }_2,{\Sigma }_2)\\ \mathcal{N}(x;\mu ,\Sigma )& =\frac{1}{\sqrt{(2\pi {)}^k|\Sigma |}}exp\left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)\end{array}\end{array}$$
其中， ${\mu }_1$, ${\mu }_2$为均值，${\Sigma }_1$, ${\Sigma }_2$为协方差矩阵, $x\in {\mathbb{R}}^k$为满足分布的随机变量， $|\Sigma |$ 表示$\Sigma$的行列式。
结论：
$p(x)$和$q(x)$的KL散度为：
$$\begin{array}{c}\begin{array}{r}{\mathbb{D}}_{KL}\left(p(x)||q(x)\right)=\frac{1}{2}\left[log\left(\frac{|{\Sigma }_2|}{|{\Sigma }_1|}\right)-k+tr\left({\Sigma }_2^{-1}{\Sigma }_1\right)+({\mu }_2-{\mu }_1{)}^T{\Sigma }_2^{-1}({\mu }_2-{\mu }_1)\right]\end{array}\end{array}$$
证明：
直接将两个概率分布的表达式套入KL散度的公式中，然后展开简化后即可得到结论的公式，这里需要应用到很多矩阵迹的运算技巧，在上一节的预备知识中可以查到。
$$\begin{array}{c}\begin{array}{rl}logP(x)=& -\frac{k}{2}log(2\pi )-\frac{1}{2}log(|{\Sigma }_1|)-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)\\ logQ(x)=& -\frac{k}{2}log(2\pi )-\frac{1}{2}log(|{\Sigma }_2|)-\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)\\ {\mu }_1=& {\mathbb{E}}_p[x]=\sum _{x}P(x)x\\ {\Sigma }_1=& {\mathbb{E}}_p[(x-{\mu }_1)(x-{\mu }_1{)}^T]\end{array}\end{array}$$
带入上式，可得：
$$\begin{array}{c}\begin{array}{rl}{\mathbb{D}}_{KL}\left(P||Q\right)=& \sum _{x}P(x)log\left(\frac{P(x)}{Q(x)}\right)\\ =& \sum _{x}P(x)\left(logP(x)-logQ(x)\right)\\ =& \sum _{x}P(x)(-\frac{k}{2}log(2\pi )-\frac{1}{2}log(|{\Sigma }_1|)-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)\\ & +\frac{k}{2}log(2\pi )+\frac{1}{2}log(|{\Sigma }_2|)+\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)))\\ =& \sum _{x}P(x)(\frac{1}{2}log\left(\frac{|{\Sigma }_2|}{|{\Sigma }_1|}\right)-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)+\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2))\end{array}\end{array}$$
接下来的简化大法就需要用到矩阵迹的运算公式了，精华都在这张PPT中：

$$\begin{array}{c}\begin{array}{rl}{\mathbb{D}}_{KL}\left(P||Q\right)=& \sum _{x}P(x)(\frac{1}{2}log\left(\frac{|{\Sigma }_2|}{|{\Sigma }_1|}\right)-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)+\frac{1}{2}(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2))\\ =& \frac{1}{2}log\left(\frac{|{\Sigma }_2|}{|{\Sigma }_1|}\right)-\frac{1}{2}{\mathbb{E}}_p\left[(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)\right]+\frac{1}{2}{\mathbb{E}}_p\left[(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)\right]\end{array}\end{array}$$
其中，第一项期望展开后为：
$$\begin{array}{c}\begin{array}{rl}& {\mathbb{E}}_p\left[-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)\right]\\ =& {\mathbb{E}}_p\left[tr\left((x-{\mu }_1)(x-{\mu }_1{)}^T{\Sigma }_1^{-1}\right)\right]\\ =& tr\left({\mathbb{E}}_p\left[(x-{\mu }_1)(x-{\mu }_1{)}^T\right]{\Sigma }_1^{-1}\right)\\ =& tr\left({\Sigma }_1{\Sigma }_1^{-1}\right)\\ =& tr(I_k)\\ =& k\end{array}\end{array}$$
第二项期望展开后为：
$$\begin{array}{c}\begin{array}{rl}& \frac{1}{2}{\mathbb{E}}_p\left[(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)\right]\\ =& {\mathbb{E}}_p\left\{\frac{1}{2}{\left[(x-{\mu }_1)+({\mu }_1-{\mu }_2)\right]}^T{\Sigma }_2^{-1}\left[(x-{\mu }_1)+({\mu }_1-{\mu }_2)\right]\right\}\\ =& {\mathbb{E}}_p\left\{\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }_2^{-1}(x-{\mu }_1)+(x-{\mu }_1{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2)+\frac{1}{2}({\mu }_1-{\mu }_2{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2)\right\}\\ =& tr\left\{{\mathbb{E}}_p\left[\frac{1}{2}{\Sigma }_2^{-1}(x-{\mu }_1)(x-{\mu }_1{)}^T\right]\right\}+tr\left\{{\left({\mathbb{E}}_p[x]-{\mu }_1\right)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2)\right\}+\frac{1}{2}({\mu }_1-{\mu }_2{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2)\\ =& tr\left\{\frac{{\Sigma }_2^{-1}{\Sigma }_1}{2}\right\}+0+\frac{1}{2}({\mu }_1-{\mu }_2{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2)\end{array}\end{array}$$
带入上面所有的公式，最终可得：
$$\begin{array}{c}\begin{array}{rl}{\mathbb{D}}_{KL}\left(P||Q\right)=& \frac{1}{2}log\left(\frac{|{\Sigma }_2|}{|{\Sigma }_1|}\right)-\frac{k}{2}+tr\left\{\frac{{\Sigma }_1^{-1}{\Sigma }_2^{-1}}{2}\right\}+\frac{1}{2}({\mu }_1-{\mu }_2{)}^T{\Sigma }_2^{-1}({\mu }_1-{\mu }_2)\\ =& \frac{1}{2}\left[log\left(\frac{|{\Sigma }_2|}{|{\Sigma }_1|}\right)-k+tr\left({\Sigma }_2^{-1}{\Sigma }_1\right)+({\mu }_2-{\mu }_1{)}^T{\Sigma }_2^{-1}({\mu }_2-{\mu }_1)\right]\end{array}\end{array}$$

3. 总结

这篇博客主要记录了如何VAE的一些预备知识，尤其是记录了两个多变量正态分布的KL散度的计算的详细推导。后面的笔记将主要关注VAE提出的动机和主要思想，VAE网络权值优化的公式推导，VAE的编程实现，最后再过渡到cVAE。

最后，祝诸君周中愉快！

2022年8月24日
Dianye Huang