变分自编码器原理详解

变分自编码器

基本思想：VAE在2013年提出，假设数据$x_i$是由一个随机过程产生的，该随机过程分为两步：

• 由先验分布$P_{{\theta }^{\ast }}(z)$产生隐变量$z_i$，
• 再由条件分布$P_{{\theta }^{\ast }}(x|z_i)$产生数据$x_i$。

$p_{\theta }(x_i)$可以表示为：
$$p_{\theta }(x_i)=\int p_{\theta }(x_i|z)p_{\theta }(z)dz$$
VAE的核心就是找到一个容易生成数据$x$的$z$的分布，即后验分布$q_{\varphi }(z|x)$，VAE需要用神经网络拟合一个分布$p_{\theta }(z|x)$和$q_{\varphi }(z|x)$接近。VAE假设每个$x_i$服从标准正态分布。

损失函数：
x的似然函数可以写为：
$$log(p_{\theta }(x_i))=D_{KL}(p_{\theta }(z|x_i)||q_{\varphi }(z|x_i))+L(\theta ,\varphi ,x_i)$$
其中$L(\theta ,\varphi ,x_i)$为变分下界，因为KL散度的值是非负的，因此要最大化似然函数即最大化变分下界$L(\theta ,\varphi ,x_i)$，即最大化：

$$L(\theta ,\varphi ,x_i)=log(p_{\theta }(x_i|z))-D_{KL}(p_{\theta }(z|x_i)||q_{\varphi }(z|x_i))$$
则VAE的孙树函数分为两个部分
KL散度的计算公式为：
$$D_{KL}(p(x)||q(x))=\sum _{i=1}^{n}p(x)log\frac{p(x)}{q(x)}$$
VAE的KL损失计算当前z的分布与标准正态分布之间的KL散度，假设即$p_{\theta }(z|x_i)$~$N({\mu }_i,{\sigma }_i)$
$$D_{KL}(p_{\theta }(z|x_i)||q_{\varphi }(z|x_i))={\mu }_i^2+{\sigma }_i^2-log({\sigma }_i^2)-1$$
则VAE的损失函数如下：
$$L(\theta ,\varphi ,x)=\sum _{i=1}^n(-({\mu }_i^2+{\sigma }_i^2-log({\sigma }_i^2)-1)+mse(x_i,\widehat{x_i}))$$
VAE应用场景

VAE，GAN等统称为生成模型，生成模型的应用主要有以下几个方面：

1. 图像生成，风格转换
2. NLP领域：文本生成
3. 数据补全，自动补全因意外缺失的部分特征
4. 学习数据的embedding特征