CausalGAN：通过对抗训练学习因果隐式生成模型

CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training（CausalGAN：通过对抗训练学习因果隐式生成模型）

文献来源

CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training

这篇论文发表在ICLR 2018会议上，全称是：International Conference on Learning Representations（国际学习表征会议），这是一个国际计算机视觉和模式识别的顶级会议。论文的题目是CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training，作者是来自德克萨斯大学奥斯汀分校的Murat Kocaoglu, Christopher Snyder, Alexandros G. Dimakis, Sriram Vishwanath。Paper with code有开源代码

论文的摘要如下：

我们提出了一种对抗训练的方法，用于给定因果图的情况下学习因果隐式生成模型。我们表明，如果生成器的结构与给定的因果图一致，那么对抗训练可以用于学习一个生成模型，该模型具有真实的观测和干预分布。我们考虑了根据给定的二值标签生成人脸图像的应用，其中标签之间的依赖结构通过因果图来保留。这个问题可以看作是学习一个关于图像和标签的因果隐式生成模型。我们设计了一个两阶段的过程来解决这个问题。首先，我们使用一个与因果图一致的神经网络作为生成器，训练一个关于二值标签的因果隐式生成模型。我们凭经验证明，WassersteinGAN可以用于输出离散的标签。然后，我们提出了两种新的条件GAN架构，我们称之为CausalGAN和CausalBEGAN。我们证明了在给定标签的情况下，CausalGAN的最优生成器可以从这些标签条件下的图像分布中采样。将条件GAN与训练好的标签因果隐式生成模型结合起来，就得到了一个关于标签和生成图像的因果隐式生成模型。我们表明，所提出的架构可以用于从观测和干预图像分布中采样，甚至对于在数据集中不自然出现的干预也是如此。

1 INTRODUCTION

• 隐式生成模型 (implicit generative model) 是一种可以从概率分布中采样而无需显式似然参数化的机制。

• 生成对抗网络 (Generative adversarial networks，GAN) 是训练隐式生成模型最成功的方法之一。 GAN 是神经生成模型，可以使用反向传播来训练以从非常高维的非参数分布中采样。生成器网络通过给定噪声向量的前馈计算对采样过程进行建模。生成器的输出受到竞争性对手网络（称为鉴别器）的反馈进行约束和改进，该网络试图区分生成的样本和真实样本。

• 生成器的目标是最大化判别器的损失（让判别器相信它从真实数据分布中输出样本）。 GAN 在从图像和视频等分布生成样本方面取得了巨大成功。

• 现有模型的不足：
  GAN 的扩展是通过将类别标签与噪声向量一起提供给生成器，从而能够从类别条件数据分布中进行采样。这些架构并没有捕捉到标签之间的依赖关系。因此，他们没有一种机制来对给定标签子集的图像进行采样，因为他们无法对剩余的标签进行采样。

• 本文模型思路：
  通过捕获标签之间的依赖关系和捕获标签之间的因果效应来扩展之前关于条件图像生成的工作。可以将条件图像生成视为一个因果过程：标签决定图像分布。生成器是从标签到图像的非确定性映射。

(a)顶部：对 Bald=1 进行了干预。底部：以秃头 = 1 为条件。男性 → 秃头
(b)顶部：干预 Mustache=1。底部：以小胡子 = 1 为条件。男性 → 小胡子。
图 1：来自 CausalBEGAN 的观察和干预样本。我们的架构不仅可以用于从联合分布（以标签为条件）中进行采样，还可以从干预分布中进行采样，例如，在干预 do(Mustache = 1) 下。这两个分布明显不同，因为在数据分布 >P 中 P(M ale = 1|Mustache = 1) = 1 和 P(Bald = 1|M ale = 0) = 0。

贡献：

• 在基于因果图构建生成器架构来训练 CiGM 之后，可以使用对抗训练。我们根据经验表明，WGAN 可用于学习 CiGM，该 CiGM 输出本质上是离散的 1 标签，从而为二进制标签创建 CiGM。

• 考虑给定二进制标签上的因果图的图像条件和介入采样问题。我们提出了一个两阶段程序来训练 CiGM 在二进制标签和图像上。作为此过程的一部分，我们提出了一种新颖的条件 GAN 架构和损失函数。

• 提出了 CausalBEGAN 模型，可以生成捕获图像标签的高质量图像。

• 在标记的 CelebA 数据上评估我们的 CiGM 训练框架。实验表明CausalGAN 和 CausalBEGAN 可以生成标签一致的图像，即使是在训练期间从未发生过的干预下实现的标签组合，例如“留胡子的女人”

2 RELATED WORK

之前已经提出使用以图像标签为条件的 GAN，但是现有的条件 GAN 不允许从未出现在数据集中的标签组合中进行采样。

GAN

• BiGAN和ALI也通过学习从图像空间到潜在空间的映射来扩展标准 GAN 框架。
• CoGAN通过强制生成器和鉴别器之间的权重共享来学习图像及其二进制标签的联合分布。
• SD-GAN将潜在空间分为“身份”和“观察”部分。为了生成同一个人的面孔，可以修复潜在代码的身份部分。

因果

• 在 Lopez-Paz & Oquab (2016) 中，作者观察了 GAN 层与结构方程模型之间的联系。基于这一观察，他们使用 CGAN 从数据集中学习两个变量之间的因果方向。
• 在 Lopez-Paz (2017)，作者提出使用神经网络来发现基于静态图像的图像类标签之间的因果关系。
• 在 Bahadori (2017)，作者提出了一种用于训练神经网络的新正则化，他们称之为因果正则化，以确保模型在因果意义上具有预测性。
• 在最近的一项工作中，Besserve (2017)，作者指出了 GAN 与因果生成模型的联系。然而，他们将图像视为神经网络权重的原因，并且不使用标签。
• 在一项独立的平行工作中，Goudet (2017) 提出使用神经网络学习因果图。与我们类似，他们也使用神经连接来模拟结构方程，但用于学习因果图。

3 CAUSALITY BACKGROUND

• 本文使用 Pearl 的框架 ，即结构因果模型 (SCM)，它使用随机变量之间的结构方程和有向无环图来表示因果模型。

• 两个随机变量 X, Y 。在 SCM 框架内，X 导致 Y 意味着存在一个独立于 X 的函数 f 和一些未观察到的随机变量 E，即$Y=f(X,E)$。

• 未观察到的变量也称为外生变量。表示这种关系的因果图是$X\to Y$。通常，因果图是结构方程隐含的有向无环图：因果图中节点 Xi 的父节点（由$P{a}_i$表示）表示该变量的原因。

• 形式上，结构因果模型是一个元组$\mathcal{M}=(\mathcal{V},\mathcal{E},\mathcal{F},{\mathbb{P}}_{\mathcal{E}}(.))$，它包含一组函数 F = { f 1 , f 2 , … , f n } {\mathcal F}= \{f_{1},f_{2},\ldots,f_{n}\} F={f1​,f2​,…,fn​} ，一组随机变量 V = { X 1 , X 2 , … , X n } V=\{X_{1},X_{2},\ldots,X_{n}\} V={X1​,X2​,…,Xn​}，一组外生随机变量 E = { E 1 , E 2 , … , E n } {{\mathcal{E}}}=\{E_{1},{{E}}_{2},\ldots,E_{n}\} E={E1​,E2​,…,En​}，以及外生变量${\mathbb{P}}_{\mathcal{E}}$上的乘积概率分布。

• 干预是一种改变底层因果机制的操作，因此也改变了相应的因果图。对$X_i$ 的干预表示为$do(X_i=x_i)$。它在以下方面不同于对 $X_i$ 的调节：干预是删除了节点 $X_i$ 与其父节点的连接，而调节不会改变数据的因果图。比如我们把$X_i$的值设为1，那么它就不再通过函数$f_i(P{a}_i,E_i)$来确定了。

4 CAUSAL IMPLICIT GENERATIVE MODELS

隐式生成模型可以从数据分布中采样。但是不能从干预分布中抽样的功能。
本文提出了因果隐式生成模型，它提供了一种从观察分布和干预分布中抽样的方法。

朴素的前馈生成器架构及其表示的因果图
(b) 表示因果图 X → Z ← Y 的生成器神经网络架构
图 2：(a) 朴素的前馈生成器架构隐含的因果图。 (b) 因果图 X → Z ← Y 的神经网络实现：每个前馈神经网络捕获结构方程模型 V = f(P aV , E) 中的函数 f。

本文认为生成对抗网络也可以用于训练因果隐式生成模型。

前馈神经网络可用于表示因果模型$X\to Z\leftarrow Y$：
在因果充分性假设下，该模型可以写为$X=f_X\widetilde{(E_X)},Y=f_Y(E_Y),Z=f_Z(X,Y,E_Z)$
$E_X,E_Y,E_Z$是联合自变量。

在 GAN 训练框架中，可以设计生成器神经网络连接以反映因果图结构。前馈神经网络可用于表示函数 $(f_X,f_Y,f_Z)$。噪声项$(N_X,N_Y,N_Z)$可以选择独立且满足$E_X,E_Y,E_Z$联合独立的条件。
请注意，虽然我们不知道外生变量的分布，但可以对噪声项使用高斯分布变量。

以下定义将前馈神经网络与因果图联系起来

定义1是关于因果隐含生成模型（CiGM）的概念，它是一种可以从给定因果图的真实观测和干预分布中采样的前馈神经网络。定义1给出了一个CiGM的形式化描述，它包括以下几个要素：

一组相互独立的随机变量Z = {Z1, Z2, …, Zm}，它们作为神经网络的输入。
一组输出变量G(Z) = [G1(Z), G2(Z), …, Gn(Z)]，它们是神经网络的输出。
一个因果图D = ([n], E)，它表示输出变量之间的因果关系，其中[n] = {1, 2, …, n}是输出变量的索引集合，E是有向边的集合。
一个因果模型M = (D, N, F, PN(.))，它包含了一组函数F = {f1, f2, …, fn}，一组随机变量N = {N1, N2, …, Nn}，和一个联合概率分布PN(.)。这些元素定义了输出变量的结构方程，即Xi = fi(Pai, Ni)，其中Pai是Xi在因果图中的父节点集合，Ni是一个外生噪声变量。

定义1要求：神经网络的连接结构要反映因果图中的因果关系。
定义2要求：神经网络的输出分布要与因果模型所确定的观测分布相同。

5 CAUSAL GENERATIVE ADVERSARIAL NETWORKS

CAUSAL CONTROLLER

因果控制器是生成模型，用于在一组标签上进行干预或条件调整时，控制图像从哪个分布进行采样。同时构建了因果控制器网络，以根据因果图顺序产生标签。

设计了一种新的条件GAN结构，可以基于因果控制器的标签生成图像。
创新点：新结构和损失函数确保了最优生成器输出标签条件图像分布。使用预训练的因果控制器，且该控制器不会进一步更新。

CausalGAN

图 3：CausalGAN 架构：因果控制器是一种预训练的图像标签因果隐式生成模型。标签在真实数据上训练，反标签在生成数据上训练。生成器最小化标签损失并最大化反标签损失。

结构：
- 标记器和反标签器：有两个独立的标签器神经网络。标签器负责估计数据集中图像的标签。反标签器负责估计从生成器采样的图像的标签，其中图像标签是由因果控制器产生的那些。
*- 生成器：*生成器的目标有三个：
- 通过与鉴别器竞争来产生逼真的图像
- 通过最小化标签损失来产生与标签一致的图像
- 通过最大化反标签器损失来避免易于标记的不切实际的图像分布。

CausalGAN 与现有的条件 GAN 架构最重要的区别：
它除了使用 Labeler 网络外，还使用了 Anti-Labeler 网络。
Anti-Labeler 损失会阻止生成器网络针对固定标签组合仅输出少数典型人脸。

损失函数

CausalGAN的损失函数包含了三个部分：

• GAN损失，用来让生成器产生逼真的图像，并与判别器竞争；
• Labeler损失，用来让生成器产生与标签一致的图像，并最小化Labeler网络的误差；
• Anti-Labeler损失，用来让生成器避免产生容易被标注的图像，并最大化Anti-Labeler网络的误差。

这三个部分共同构成了生成器和判别器的目标函数，分别用于训练两个网络。

5.2.3 THEORETICAL GUARANTEES（理论支持）主要使用数学证明来说明这一结论，并给出了一些相关的引理和定理。

给出了因果GAN的理论保证，即在一些假设条件下，最优的生成器可以从真实的条件数据分布中采样。

条件数据分布是指在给定某些变量（例如，胡须）的值后，其他变量（例如，图像）的分布。

核心思想：通过引入一个反标记器（Anti-Labeler）网络，可以避免生成器产生标签条件模式崩溃（label-conditioned mode collapse），即生成器只输出某个标签组合下的典型图像。反标记器网络的目标是估计生成图像的标签，并给出一个高的损失函数值。生成器则要最大化反标记器网络的损失函数值，从而增加生成图像的多样性。

6 RESULTS

第六章介绍了因果GAN和因果BEGAN在CelebA数据集上的实验结果。

CelebA数据集包含了20万张名人的人脸图像，以及40种二值化的图像标签，例如性别、年龄、胡须等。

作者使用了一个给定的因果图来表示标签之间的因果关系，例如性别导致胡须，微笑导致眼睛变窄等。作者展示了因果GAN和因果BEGAN可以生成不同的观测和干预数据分布，例如在胡须或眼睛变窄上进行干预，并比较了它们与其他条件GAN的方法的质量和多样性。

第六章的主要贡献是：

• 证明了CausalGAN和CausalBEGAN可以生成具有高质量和高多样性的合成图像，即使是对于训练数据中不存在的标签组合，例如女性有胡须。

• 证明了CausalGAN和CausalBEGAN可以生成符合用户定义的公平要求的合成图像，例如消除性别或年龄的偏见。

• 证明了CausalGAN和CausalBEGAN可以生成符合真实数据分布的合成图像，即使是在进行干预后，例如在胡须或眼睛变窄上进行干预。

图4:使用CausalGAN的CelebA因果图中对Mustache标签的干预。由于在CelebA因果图中M ale→Mustache，我们不期望do(Mustache = 1)会影响M ale = 1的概率，即P(M ale = 1|do(Mustache = 1)) = P(M ale = 1) = 0.42。因此，尽管生成器在训练过程中从未看到标签组合{M ale = 0, Mustache = 1}，但顶部一行同时显示了有胡子的男性和女性。从条件分布P(。|小胡子= 1)只显示男性图像。

图 5：CelebA 因果图中带有 CausalGAN 的嘴巴轻微张开标签的干预/调节。由于 CelebA Causal Graph 中的 Smiling → MouthSlightlyOpen，我们不期望 do(Mouth Slightly Open = 1) 影响 Smiling = 1 的概率，即 P(Smiling = 1|do(Mouth Slightly Open = 1)) = P（微笑 = 1）= 0.48。然而，在最后一行，嘴巴微微张开 = 1 的条件增加了微笑图像的比例（数据集中从 0.48 到 0.76），尽管 10 张图像可能不足以在统计上显示这种差异

图 6：使用 CausalBEGAN 对 CelebA 因果图中Mustache 标签进行干预。
由于 Male → Mustache 在 CelebA Causal Graph 中，我们不期望 do(Mustache = 1) 影响 M ale = 1 的概率，即 P(M ale = 1|do(Mustache = 1)) = P(Mustache = 1) = 0.42。
因此，顶行显示了有胡子的男性和女性，即使生成器在训练期间从未看到标签组合 {Male = 0, Mustache = 1}。从条件分布 P(.|Mustache = 1) 中采样的图像的底行仅显示男性图像。

图 7：使用 CausalBEGAN 对 CelebA 因果图中的 Narrow Eyes 标签进行干预。由于 CelebA 因果图中的 Smiling → Narrow Eyes，我们不期望 do(Narrow Eyes = 1) 影响 Smiling = 1 的概率，即 P(Smiling = 1|do(Narrow Eyes = 1)) = P （微笑 = 1）= 0.48。然而，在最后一行，Narrow Eyes = 1 的条件增加了微笑图像的比例（数据集中从 0.48 到 0.59），尽管 10 张图像可能不足以在统计上显示这种差异。作为罕见的伪像，在第三列的暗图像中，生成器似乎排除了 Narrow Eyes = 0 的可能性，而不是证明 Narrow Eyes = 1。

7 CONCLUSION

我们提出了一种带有标签输入的新型生成模型。除了能够创建以标签为条件的样本外，我们的生成模型还可以从干预分布中采样。我们的理论分析为此类干预下的正确抽样提供了可证明的保证。

因果关系导致生成模型更具创造性，因为它们可以以多种方式生成与训练样本不同的样本。我们已经为两个模型（CausalGAN 和 CausalBEGAN）说明了这一点。

8 APPENDIX

参考原文