细水长flow之f-VAEs：Glow与VAEs的联姻

作者丨苏剑林

单位丨广州火焰信息科技有限公司

研究方向丨NLP，神经网络

个人主页丨kexue.fm

前言：这篇文章是我们前几天挂到 arXiv 上的论文的中文版。在这篇论文中，我们给出了结合流模型（如前面介绍的 Glow）和变分自编码器的一种思路，称之为 f-VAEs。理论可以证明 f-VAEs 是囊括流模型和变分自编码器的更一般的框架，而实验表明相比于原始的 Glow 模型，f-VAEs 收敛更快，并且能在更小的网络规模下达到同样的生成效果。

■ 论文 | f-VAEs: Improve VAEs with Conditional Flows

■ 链接 | https://www.paperweekly.site/papers/2313

■ 作者 | Jianlin Su / Guang Wu

近来，生成模型得到了广泛关注，其中变分自编码器（VAEs）和流模型是不同于生成对抗网络（GANs）的两种生成模型，它们亦得到了广泛研究。然而它们各有自身的优势和缺点，本文试图将它们结合起来。

▲ 由f-VAEs实现的两个真实样本之间的线性插值

基础

设给定数据集的证据分布为，生成模型的基本思路是希望用如下的分布形式来拟合给定数据集分布：

其中 q(z) 一般取标准高斯分布，而 q(x|z) 一般取高斯分布（VAEs 中）或者狄拉克分布（GANs 和流模型中）。理想情况下，优化方式是最大化似然函数 E[logq(x)]，或者等价地，最小化。

由于积分可能难以显式计算，所以需要一些特殊的求解技巧，这导致了不同的生成模型。其中，VAE 引入后验分布 p(z|x)，将优化目标改为更容易计算的上界。众所周知，VAE 有着收敛快、训练稳定等优点，但一般情况下生成图像存在模糊等问题，其原因我们在后面会稍加探讨。

而在流模型中，q(x|z)=δ(x−G(z))，并精心设计 G(z)（通过流的组合）直接把这个积分算出来。流模型的主要组件是“耦合层”：首先将 x 分区为两部分 x1,x2，然后进行如下运算：

这个变换是可逆的，逆变换为： 

它的雅可比行列式是。这种变换我们通常称之为“仿射耦合”（如果 s(x1)≡1，那么通常称为“加性耦合”），用 f 表示。通过很多耦合层的组合，我们可以得到复杂的非线性变换，即 G=f1∘f2∘⋯∘fn，这就是所谓的“（无条件）流”。

由于直接算出来积分，因此流模型可以直接完成最大似然优化。最近发布的 Glow 模型显示出强大的生成效果，引起了许多人的讨论和关注。但是流模型通常相当庞大，训练时间长（其中 256 x 256 的图像生成模型用 40 个 GPU 训练了一周，参考这里 [1] 和这里 [2]），显然还不够友好。

分析