NIPS2018深度学习(17)|亮点: 记忆重现GAN;图GAN;箱卷积(论文及代码)

[1] Memory Replay GANs: learning to generate images from new categories without forgetting

Chenshen Wu, Luis Herranz, Xialei Liu, Yaxing Wang, Joost van de Weijer, Bogdan Raducanu

Universitat Autònoma de Barcelona

https://papers.nips.cc/paper/7836-memory-replay-gans-learning-to-generate-new-categories-without-forgetting.pdf

之前，有学者利用序贯学习来解决判别式模型中的遗忘问题。这篇文章主要考虑生成式模型中如何解决遗忘问题。

作者们研究了如何利用生成式对抗网络 GANs在序列中学习新的类别。他们发现序列式的微调使得网络不能根据先前的类别生成合适的图像，这种现象就是遗忘现象。

为了解决上述问题，作者们提出记忆重现GANs (MeRGANs)，这是一种条件GAN框架，该框架融入了一种记忆重现的生成器。该文作者利用两种方法来防止遗忘，即基于重现的联合训练和重现对齐。

这种方法在MNIST，SVHN，LSUN等数据集上取得了很好的效果。

联合训练、序贯微调及弹性权重固定的GAN等图示如下

其中EWC为elastic weight consolidation。

基于重现的重新练以及重现的对齐图示如下

几种方法的准确率对比如下