论文解读：MisGAN: learning from incomplete data with generative adversarial networks.

MisGAN

Titile: MisGAN: learning from incomplete data with generative adversarial networks.
Year: 2019

• 作者：
  Steven Cheng-Xian Li; University of Massachusetts Amherst; cxl@cs.umass.edu
  Bo Jiang; Shanghai Jiao Tong University; bjiang@sjtu.edu.cn
  Benjamin M. Marlin; University of Massachusetts Amherst; marlin@cs.umass.edu
• 会议：ICLR 2019
• 代码：https://github.com/steveli/misgan

Abstract

生成性对抗网络（GANs）已被证明是一种模拟复杂分布的有效方法，并在各种具有挑战性的任务中取得了令人印象深刻的结果。然而，典型的GANs需要在训练期间充分观察数据。在本文中，我们提出了一个基于GAN的框架来学习复杂的、高维的不完全数据。该框架学习一个完整数据生成器和一个模拟缺失数据分布的掩码生成器。我们进一步演示了如何通过为我们的框架配备一个经过对抗训练的插补器来插补缺失的数据。在完全随机缺失假设下，我们通过一系列实验对所提出的框架进行了评估。

Introduction

【关于GAN的描述】生成性对抗网络（GANs）（Goodfello et al.，2014）为学习复杂的高维分布提供了强大的建模框架。与基于可能性的方法不同，GANs被称为隐式概率模型（Mohamed&Lakshminarayanan，2016）。它们通过一个生成器来表示概率分布，该生成器学习从所需的分布直接生成样本。

【引出挑战】训练GAN通常需要访问大量的完全观测数据。然而，并非总是能够获得大量的完全观测数据。众所周知，缺失数据普遍存在于许多实际应用程序域中，在这些域中，不同的数据案例可能有不同的缺失条目。这种任意性的缺失对现有的机器学习模型提出了很大的挑战。

【不完全观测数据的生成过程】$\mathbf{x}\sim p_{\theta }(\mathbf{x}),\mathbf{m}\sim p_{\varphi }(\mathbf{m}|\mathbf{x})$

其中$\mathbf{x}\in {\mathbb{R}}^n$是完整数据向量， m ∈ { 0 , 1 } n \mathbf{m} \in \{0, 1\}^n m∈{0,1}n是二进制掩码，是缺失数据的指示符。

令${\mathbf{x}}_{obs}$表示x的观测元素，${\mathbf{x}}_{mis}$表示根据掩码m丢失的元素。另外，$\theta$表示数据分布的未知参数，$\varphi$表示掩模分布的未知参数，通常假设这些参数与$\theta$无关。在标准最大似然设置中，通过最大化以下边际似然，对未知缺失数据值进行积分，来估计未知参数：

$$p({\mathbf{x}}_{obs},\mathbf{m})=\int p_{\theta }({\mathbf{x}}_{obs},{\mathbf{x}}_{mis})p_{\varphi }({\mathbf{x}}_{obs},{\mathbf{x}}_{mis})d{\mathbf{x}}_{mis}.$$

Little&Rubin（2014）描述缺失数据机制$p_{\varphi }(\mathbf{m}|{\mathbf{x}}_{obs};{\mathbf{x}}_{mis})$在完全数据$\mathbf{x}=[{\mathbf{x}}_{obs};{\mathbf{x}}_{mis}]$和掩码$\mathbf{m}$之间的依赖关系：

• Missing completely at random (MCAR): $p_{\varphi }(\mathbf{m}|\mathbf{x})=p_{\varphi }(\mathbf{m})$,
• Missing at random (MAR): $p_{\varphi }(\mathbf{m}|\mathbf{x})=p_{\varphi }\left(\mathbf{m}|{\mathbf{x}}_{\text{obs }}\right)$,
• Not missing at random (NMAR): $\mathbf{m}$ depends on ${\mathbf{x}}_{mis}$ and possibly also ${\mathbf{x}}_{obs}$.

大多数关于不完全数据的工作都假设MCAR或MAR，因为在这些假设下 $p({\mathbf{x}}_{obs},\mathbf{m})$ 可以分解为$p_{\theta }({\mathbf{x}}_{obs})p_{\varphi }(\mathbf{m}|{\mathbf{x}}_{obs})$。通过这种解耦，在学习数据生成模型时可以忽略缺失数据机制，同时得到 $\theta$的正确估计。当 $p_{\theta }(\mathbf{x})$不允许在 ${\mathbf{x}}_{mis}$上有效边缘化时，$\theta$的估计通常通过使用EM算法或更一般的方法（Little&Rubin，2014；Ghahramani&Jordan，1994年）：

$$\log p_{\theta }\left({\mathbf{x}}_{\text{obs }}\right)\ge {\mathbb{E}}_{q\left({\mathrm{x}}_{\text{mis}}\mid {\mathrm{x}}_{\text{obs}}\right)}\left[\log p_{\theta }\left({\mathbf{x}}_{\text{obs }},{\mathbf{x}}_{\text{mis }}\right)-\log q\left({\mathbf{x}}_{\text{mis }}|{\mathbf{x}}_{\text{obs }}\right)\right]$$

【贡献】开发了一个基于GAN的框架，用于在存在不完全观测的情况下学习高维数据分布。我们的框架引入了一个辅助GAN来学习掩模分布来模拟丢失。掩码用于通过用常量值填充指定的缺失条目来**“屏蔽”生成的完整数据**。对完整数据生成器进行训练，使生成的屏蔽数据与被类似屏蔽的真实不完整数据无法区分。

【由来】我们的框架基于AmbientGAN的想法（Bora等人，2018）。AmbientGAN修改GAN的鉴别器，以区分在一系列损坏过程（或测量过程）下损坏的真实样本和损坏的生成样本。对于图像，测量过程的示例包括随机丢失、模糊、块修补等。丢失的数据可以看作是一种特殊类型的损坏，除了可以访问损坏的度量之外，还可以访问丢失的模式。此外，AmbientGAN假设测量过程仅由几个参数已知或参数化，这在一般的缺失数据问题中不是这样的。

【结果】我们提供的经验证据表明，当GAN生成器在数据生成过程中加入适当的先验知识时，该框架能够有效地从高度不完全的数据中学习复杂的高维数据分布。我们进一步展示了如何使用该体系结构来生成高质量的插补。

Method