Lifelong GAN: Continual Learning for Conditional Image Generation

ICCV 2019 | Lifelong GAN：基于持续学习的条件图像生成模型

Abstract

终身学习对深度神经网络来说具有挑战性，因为它们容易发生灾难性遗忘。灾难性遗忘发⽣在训练过的⽹络在执⾏新任务时不能保持其完成以前学习过的任务的能⼒ 。我们研究⽣成模型的终身学习问题，在不忘记以前任务的情况下，将训练好的⽹络扩展到新的条件归纳任务，同时假设只访问当前任务的训练数据。针对 ⽬前最先进的记忆回放⽅法（ memory replay based approaches） 只限于标签条件下图像⽣成任务，本⽂提出了⼀个在不同条件图像⽣成设置下⽣成模型持续学习的更通⽤的框架。Lifelong GAN 使⽤知识蒸馏将以前⽹络中学习到的知识转移到新⽹络中。这使得在终身学习的环境中执⾏图像条件⽣成任务成为可能。我们对图像条件和标签条件⽣成任务都验证了Lifelong GAN，并提供了定性和定量的结果来说明我们⽅法的通⽤性和有效性。

1. Introduction

考虑图1中的例⼦。生成模型⾸先在任务边→鞋上训练。给定⼀个新的任务分段→外观，⼀个新的模型从先前的模型初始化，并为新的任务进⾏微调。训练后，模型忘记了之前的任务，⽆法⽣成给定边缘图像作为输⼊的鞋⼦图像。解决这个问题的⼀种⽅法是将当前任务的训练数据与所有先前任务的训练数据相结合，然后使⽤联合数据训练模型。不幸的是，这种⽅法通常是不可扩展的:随着新任务的增加，联合数据的存储需求和训练时间会⽆限制地增⻓。此外，可以使⽤在当前任务的训练期间不可访问的私有或特权数据来训练先前任务的模型

因此，终身学习的挑战是扩展模型以完成当前任务，同时不要忘记在我们仅限于当前任务的训练数据的场景中如何完成以前的任务。在这项⼯作中，我们的假设是，我们只能访问在以前的任务上训练的模型，⽽不能访问以前的数据。

最先进的持续学习⽣成框架（ continual learning
generative frameworks）是建⽴在记忆回放（memory replay）的基础上的，记忆回放将先前任务⽣成的数据视为新任务中训练示例的⼀部分。尽管记忆回放已经被证明可以通过利⽤⽣成性设置来缓解灾难性遗忘问题，但它的适⽤性仅限于标签条件⽣成任务。特别是，基于重放的⽅法不能扩展到图像条件⽣成。原因在于不能访问任何条件图像来为之前的任务⽣成重放训练对。因此，⼀个更通⽤的持续学习框架是有价值的，它可以实现各种传统的⽣成任务。

在本⽂中，我们介绍了⼀个通⽤的连续学习框架，它可以应⽤于图像条件和标签条件的图像⽣成。我们使⽤知识提炼（knowledge distillation）[11]来解决条件⽣成性连续学习任务的灾难性遗忘。给定⼀个新任务，Lifelong GAN学会执⾏这个任务，并且为了保持对先前任务的记忆，在训练期间通过对两个⽹络进⾏编码以产⽣相似的输出值或视觉模式，从先前训练的⽹络中提取信息并提取到新的⽹络中。据我们所知，我们是第⼀个利⽤知识提炼原理进⾏持续学习的⽣成框架。

综上所述，我们的贡献如下。

1. 我们提出了⼀个通⽤框架，⽤于传统图像⽣成模型的持续学习。
2. 我们验证了我们的⽅法对于两种不同类型的条件输⼊的有效性:(1)图像条件⽣成，和(2)标签条件⽣成,并提供了定性的和定量结果来说明我们的GAN框架能够学习新一代任务，而不灾难性地忘记以前的任务
3. 第三，我们通过跨不同的数据领域进⾏持续学习来说明我们的框架的⼀般性。

2. Related Work

Conditional GANs

条件图像生成任务通常可以分为图像条件图像生成和标签条件图像生成

Knowledge Distillation 知识蒸馏

由Hinton等⼈[11]提出，知识蒸馏被设计⽤于将知识从教师分类器转移到学⽣分类器。与学⽣分类器相⽐，教师分类器通常具有更多的特权信息[31]。特权信息包括两个⽅⾯。第⼀个⽅⾯称为学习能⼒，即神经⽹络的⼤⼩。与教师分类器相⽐，学⽣分类器可以具有更紧凑的⽹络结构，并且通过将知识从教师分类器提取到学⽣分类器，学⽣分类器将具有与教师⽹络相似甚⾄更好的分类性能。相关应⽤包括⽹络压缩[26]和⽹络训练加速[33]。第⼆个⽅⾯是学习资源，即输⼊数据量。教师分类器可以有更多的学习资源，看到更多学⽣看不到的数据。与第⼀个⽅⾯相⽐，这⼀⽅⾯相对来说还没有探索，是我们⼯作的重点。

Continual Learning.

基于EWC的⽅法已经被探索⽤于标签条件图像⽣成[28，34]的任务，以⽣成更真实的图像，但是它们在记住先前的类别和⽣成⾼质量图像⽅⾯表现出有限的能⼒
在本⽂中，我们将知识提炼引⼊到以前没有探索过的连续⽣成模型学习中。我们的⽅法可以应⽤于图像条件⽣成和标签条件图像⽣成，对于图像条件⽣成，重放机制 replay mechanism不适⽤。

3. Approach

我们提出的终身学习⽅法利⽤知识提炼解决了灾难性的获取问题，与 replay based methods相反，可以应⽤于 连续学习 标签条件 和 图像条件两个 ⽣成任务。在本⽂中，我们在最先进的BicycleGAN [41]模型的基础上建⽴了我们的模型。⽣成模型的持续学习的总体⽅法如图2所示。给定当前任务的数据，终身⼈⼯神经⽹络学习执⾏该任务，并保持对先前任务的记忆，采⽤知识提取从先前训练的⽹络提取信息到当前⽹络，通过⿎励两个⽹络在给定相同输⼊的情况下产⽣相似的输出值或模式。为了避免在给定相同输⼊的情况下有两个期望输出(当前训练⽬标和前⼀模型的输出)时出现的“冲突”，我们通过蒙太奇Montage和交换Swap两种操作从当前数据中⽣成辅助数据进⾏提炼。

3.1. Background: BicycleGAN

3.2. Lifelong GAN with Knowledge Distillation

为了执⾏条件⽣成任务的持续学习，所提出的 Lifelong GAN建⽴在Bicycle GAN的基础上，采⽤了知识蒸馏。我们⾸先介绍问题的表述，然后详细描述我们的模型，然后讨论我们解决训练中 ⽬标冲突 的策略

问题表述

cVAE-GAN

cLR-GAN

Conflict Removal with Auxiliary Data.使⽤辅助数据消除冲突

注意，⽅程4包含相互冲突的⽬标。第⼀项⿎励模型重建当前任务的输⼊，⽽第三项⿎励模型⽣成与旧模型输出相同的图像。此外，第⼀项⿎励模型将输⼊图像编码为正态分布，⽽第⼆项⿎励模型将输⼊图像编码为从旧模型中学习到的分布。类似的相互⽭盾的⽬标存在于⽅程5中。综上所述，当模型需要产⽣两种不同的输出时，即在给定相同输⼊的情况下，模仿旧模型的性能并实现新⽬标时，就会出现冲突
为了解决这些相互冲突的⽬标，我们建议使⽤辅助数据从旧模型Mt−1中提取知识，建⽴Mt模型。重要的是，每个任务都应该使⽤新的辅助数据，否则⽹络在学习之前的任务时可能会隐式地对它们进⾏编码。我们在第3.3节中描述了不需要外部数据源的⽅法。

Lifelong GAN可⽤于图像条件⽣成和标签条件⽣成任务的持续学习。这两种设置的知识蒸馏辅助图像可以使⽤第3.3节中描述的蒙太奇和Swap操作⽣成。对于标签条件的生成，我们可以简单地使用以前任务中的分类代码。

3.3. Auxiliary Data Generation

现在我们讨论辅助数据的⽣成。回顾3.2节，我们使⽤辅助数据来解决⽅程4和⽅程5中的冲突⽬标。
辅助图像不需要标签，原则上可以从在线图像存储库中获取。然⽽，这个解决⽅案可能⽆法扩展，因为它需要在学习每个新任务时收集⼀组新的辅助图像。⼀种更理想的替代⽅法可能是使⽤当前数据⽣成辅助数据，以避免过拟合问题。我们提出了从当前任务数据⽣成辅助数据的两种操作。

这两种操作都⽤于图像条件⽣成;在标签条件⽣成中，由于没有条件图像，只能采⽤蒙太奇操作。
也许还有其他的选择。从本质上说，辅助数据⽣成需要提供任务外样本，这些样本可以⽤来保存旧模型学到的知识。利⽤蒸馏损失保留知识，⿎励新旧模型对任务外样本产⽣相似的响应。

4. Experiments

我们评估了两种设置的终身GAN：（1)图像条件图像生成和(2）标签条件图像生成。我们是第一个探索 持续学习图像条件图像生成 的人；没有现有的方法可用于比较。此外，我们将我们的模型与基于记忆重放的方法进行了比较，这是最先进的标签条件图像生成.
略。。。

5. Conclusion

我们研究了生成网络的终身学习问题，并提出了一个基于蒸馏的持续学习框架，使单个网络能够在不遗忘以前的任务的情况下扩展到新的任务 ，只监督当前的任务。与以前采用记忆重放从以前的任务中生成图像作为训练数据的方法不同，我们采用了知识蒸馏 将从以前的网络中学习到的知识转移到新的网络中。我们的通用框架使更广泛的生成任务，包括图像到图像的翻译，这对使用基于内存回放的方法是不可能的 。我们验证了图像条件和标签条件生成任务的 Lifelong GAN，定性和定量的结果都说明了它的通用性和 我们的方法的有效性。