一文详解基于流的深度生成模型

©PaperWeekly 原创 · 作者 | 鬼谷子

引言

到目前为止，两种生成模型 和 并不能准确地从真实数据 中学习出概率分布 。以隐变量的生成模型为例，在计算积分 时，需要遍历所有的隐变量 的取值这是非常困难，且不切实际的。基于 的生成模型在正则化流（正则化流是估计概率分布非常有力的工具）帮助下可以更好的解决这个问题。一个的概率分布 好的估计可以完成很多任务，比如说数据生成，预测未来事件概率估计，数据样本增强等。

生成模型的种类

当前生成模型的种类可以主要分为三种，分别是基于 的生成模型，基于 的生成模型和基于 的生成模型：

生成对抗网络（GAN）：GAN 是由两个神经网络组成，分别是生成器和判别器。生成器的目的是从噪声 中学习生成真实的数据样本 ，而判别器的目的是区分出真实的样本 和生成的样本 。在训练的过程中，两个网络在玩一个 的博弈游戏中相互促进相互提高。

变分自动编码器（VAE）：GAN 是也是由两个神经网络组成，分别是编码器和解码器。编码器是将数据样本 编码成隐向量 ，解码器将隐向量 映射回样本数据 。VAE 是在最大化变分下界中，粗略地优化数据的对数似然估计。

基于 的生成模型：一个基于 的生成模型是由一系列的可逆变换器组成。它可以使得模型能够更加精确的学习到数据分布 ，它的损失函数是一个负对数似然函数。

预备知识

在了解基于 的生成模型之前，需要知道三个关键的数学概念，分别是雅可比矩阵，行列式和变量替换定理。

3.1 雅可比矩阵和行列式

给定一个映射函数 ，将 维输入向量 映射为 维的输出向量。雅可比矩阵是函数 关于输入向量 所有分量的一阶偏导数：

而行列式是用于计算一个方阵的，结果为一个实值标量。行列式的绝对值可以被认为是“矩阵的乘法扩展或收缩了多少空间”的度量。一个 方阵 的行列式如下所示：

其中求和下的下标 是集合 的所有置换，共有 项。 表示的是置换的符号。方阵  行列式取值为 时，则不可逆，反之亦然。行列式乘积公式为：

3.2 变量替换定理

给定一个单变量随机变量 ，已知它的概率分布为 ，如果想要用一个映射函数 构造一个新的随机变量 ，即 ，其中 是可逆的，即 ，则新随机变量的概率分布推导如下所示：