LAPGAN（拉普拉斯生成对抗网络）

1：摘要
在本文中，我们介绍了一种能够生成的生成参数模型高品质的自然图像样本。 我们的方法使用拉普拉斯金字塔框架内的级联卷积网络来生成图像从粗到细的方式。 在金字塔的每个层次上，都使用生成对抗网络（GAN）的方法来训练一个单独的生成convnet模型[10]。从我们的模型中抽取的样本比其他样本具有更高的质量方法。 在人工评估人员的定量评估中，我们的CIFAR10样本被误认为是真实图像的时间约为40％，而误判为10％从GAN基线模型中提取的样本。 我们还显示了来自模型的样本在LSUN场景数据集的高分辨率图像上进行训练。

2：生成对抗网络
GAN方法[10]是用于训练生成模型的框架，我们将在下面对此进行简要说明图像数据的上下文。 该方法使两个网络相互对抗：生成模型G捕获数据分布和区分样本D的判别模型D从G绘制的图像和从训练数据绘制的图像。 在我们的方法中，G和D都是卷积网络。 前者将根据分pNoise（z）得出的噪声矢量z作为输入。输出图像〜h。 判别网络D随机选择一个图像作为输入（具有相等的概率）为〜h（由G生成）或h-从训练数据pData（h）。 D输出标量概率，如果输入为如果由G生成，则为实数和低数。一个minimax目标用于一起训练两个模型：

这鼓励G拟合pData（h），从而用其生成的样本〜h欺骗D。 G和D通过反向传播Eqn的损失进行训练。 1通过各自的模型来更新参数。条件生成对抗网络（CGAN）是GAN的扩展，其中两个网络G和D接收信息l的附加向量作为输入。 例如，其中可能包含信息关于培训示例的课程h。 损失函数因此变为。

其中pl（l）例如是类的先验分布。 该模型允许输出由条件变量l控制的生成模型。 Mirza和Osindero [17]和2个Gauthier [9]都使用l作为类，通过在MNIST和面孔上的实验探索了该模型指标。 在我们的方法中，l将是从另一个CGAN模型生成的另一个图像。

3：拉普拉斯金字塔
拉普拉斯金字塔[1]是由一组带通组成的线性可逆图像表示图像，间隔八度，再加上低频残差。 正式地，让d（。）为下采样对j×j图像I进行模糊处理和抽取的操作，因此d（I）是大小为j / 2×j / 2的新图像。另外，令u（。）为上采样运算符，它将I平滑并扩展为两倍大小，因此u（I）是大小为2j×2j的新图像。 我们首先建立一个高斯金字塔G（I）= [I0，I1，。。 。 。 ，IK]，其中I0 = I，Ik是对d（。）的k个重复应用*。K是金字塔中的层数，选择该选项以使最终级别具有很小的空间范围（≤8×8像素）。拉普拉斯金字塔L（I）的每个层k上的系数hk通过以下公式构造高斯金字塔中相邻层之间的差，使用u（。）向上采样较小的层这样的大小是兼容的：

直观地，每个级别捕获以特定比例显示的图像结构。 最终的水平拉普拉斯金字塔hK不是差分图像，而是等于最终图像的低频残差高斯金字塔等级，即hK = IK。 从拉普拉斯金字塔系数重建[h1，。 。 。 ，hK]是使用向后递归执行的：Ik = u(Ik+1) + hk

它以IK = hK开头，重建图像为I = Io。 换句话说，开始在最粗糙的水平上，我们重复上采样并在下一个更精细的水平上添加差异图像h直到我们回到全分辨率图像为止。

4：拉普拉斯生成对抗网络（LAPGAN）
我们提出的方法将条件GAN模型与拉普拉斯金字塔表示法相结合。 首先考虑采样程序可以最好地解释该模型。 训练后（如下所述），我们有一组生成卷积模型{G0，。 。 。 ，GK}中的每一个都捕获了拉普拉斯pyra mid的不同级别上自然图像的系数hk的分布。 对图像进行采样类似于Eqn中的重建过程。 4，除了生成模型用于产生香港的：

通过设置I〜K + 1 = 0并使用最终级别GK的模型来生成递归开始重复使用噪声矢量zK的残差图像I〜K：I〜K = GK（zK）。 请注意，除最终是条件生成模型，该模型将当前图像I〜k + 1的上采样版本作为除了噪声矢量zk之外，还需要一个条件变量。 图1显示了该程序的实际操作过程使用4个生成模型对K = 3的金字塔进行采样以获取64×64图像。生成模型{G0，。 。 。 ，GK}在各个级别的CGAN方法中接受培训金字塔。 具体来说，我们从每个训练图像I构造一个拉普拉斯金字塔。在每个级别我们对（i）构造系数hk进行随机选择（概率均等）使用Eqn中的标准过程。 3，或（ii）使用Gk生成它们：
请注意，Gk是一个卷积网络，它使用图像lk = u（Ik + 1）的粗略版本作为输入，以及噪声矢量zk Dk将hk或hk与低通图像lk（在第一个卷积层之前显式添加到hk或hk），并预测图像是真实的还是生成的。在金字塔的最终尺度上，低频残差足够小，以至于它可以使用标准GAN直接建模：〜hK = GK（zK），而DK仅将hK或〜hK作为输入。该框架如图2所示。将这一代分解为连续的改进是这项工作的关键思想。请注意，我们给提出任何“全球”保真概念；我们从未尝试过训练网络以区别对待在级联输出和真实图像之间进行选择，而是着重于使每个步骤看起来合理。此外，每个金字塔级别的独立训练的优势在于该模型难以记住训练示例–高容量深层网络时存在危险被使用。
如上所述，我们的模型是在无监督的情况下训练的。但是，我们还探讨了变体利用类标签。这是通过添加一个1-hot向量c来完成的，该向量指示类身份，作为另一个Gk和Dk的条件变量。