【AI论文】GAN已死，GAN万岁！现代GAN的新基线

这篇论文提出了一个名为 R3GAN 的新型生成对抗网络 (GAN) 基线，旨在解决现有 GAN 模型训练困难、缺乏理论支撑以及架构过时等问题。Hugging Face链接：Paper page - Huggingface，原始论文链接：2501.05441，GitHub源代码链接：brownvc/R3GAN

主要内容：

• 改进的损失函数： 论文提出了一种新的 GAN 损失函数，结合了相对配对 GAN (RpGAN) 和梯度惩罚 (R1 + R2)，解决了模式坍塌和非收敛问题。该损失函数具有数学上的局部收敛保证，使得 GAN 训练更加稳定。
• 现代网络架构： 基于 R3GAN 损失函数的稳定性，论文展示了如何使用现代网络架构来替换传统的 GAN 架构，例如 StyleGAN。论文通过逐步简化和现代化 StyleGAN2 架构，最终得到一个更简洁的 R3GAN 模型。
• 实验结果： 论文在 FFHQ、ImageNet、CIFAR 和 Stacked MNIST 数据集上进行了实验，结果表明 R3GAN 在 FID 指标上优于 StyleGAN2 和其他 SOTA GAN 模型，并与其他扩散模型相比也具有竞争力。
• 局限性： 论文指出 R3GAN 模型在某些方面存在局限性，例如缺乏专门的功能用于图像编辑或可控生成，以及尚未验证在更高分辨率图像或大规模文本图像生成任务上的可扩展性。

如何训练：

R3GAN 模型的训练过程基于一个改进的损失函数，该损失函数结合了相对配对 GAN (RpGAN) 和梯度惩罚 (R1 + R2)，旨在解决 GAN 训练中常见的模式坍塌和非收敛问题。以下是 R3GAN 训练过程的详细步骤：

1. 初始化：

• 生成器 G 和判别器 D 都是深度卷积神经网络，具有相似的架构。
• 使用合适的初始化方法，例如 fix-up 初始化，以确保网络在训练初期不会出现方差爆炸。
• 设置训练参数，例如学习率、批次大小、EMA 换算长度等。

2. 训练过程：

• 使用预训练的 MNIST 分类器来评估判别器对真实数据分布的拟合程度。
• 使用 KL 散度来估计生成器产生的样本与真实数据分布之间的差异。
• 训练过程中，使用余弦调度来加速训练初期，并使用数据增强来提高样本多样性。

3. 损失函数：

• R3GAN 使用 RpGAN 损失函数，该损失函数通过比较生成器生成的样本与真实样本之间的相对距离来评估生成器的性能。
• 为了提高训练稳定性，R3GAN 还使用了 R1 和 R2 梯度惩罚项，分别对判别器在真实数据和生成数据上的梯度进行惩罚。

4. 优化器：

• 使用 Adam 优化器来最小化损失函数，并使用动量项来改善训练动态。

5. 训练细节：

• 论文提供了详细的训练参数和配置，包括数据增强、网络容量、混合精度训练等。
• 论文还讨论了模型在不同数据集上的训练过程，例如 FFHQ、ImageNet、CIFAR 和 Stacked MNIST。

网络结构：

        总而言之，R3GAN 论文为 GAN 研究提供了一个新的基准，它结合了改进的损失函数和现代网络架构，使得 GAN 训练更加稳定，并能够生成高质量的图像。