![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
GAN
文章平均质量分 81
weixin_37958272
这个作者很懒,什么都没留下…
展开
-
From GAN to WGAN
From GAN to WGAN本文解释了生成对抗网络(GAN)[1]模型背后的数学原理,以及为什么它很难被训练。Wasserstein GAN旨在通过采用平滑度量来衡量两个概率分布之间的距离来改善GAN的训练。1 Introduction生成式对抗网络(GAN)[1]在许多生成式任务中显示了巨大的成果,以复制现实世界的丰富内容,如图像、人类语言和音乐。它受到博弈论的启发:两个模型,一个生成器和一个批判者,在相互竞争的同时使对方变得更强大。然而,训练GAN模型是相当具有挑战性的,因为人们正面临着训练不原创 2021-05-29 17:29:20 · 318 阅读 · 0 评论 -
Contrastive Model Inversion for Data-Free Knowledge Distillation
Contrastive Model Inversion for Data-Free Knowledge DistillationModel inversion,其目标是从预训练的模型中恢复训练数据,最近被证明是可行的。然而,现有的inversion方法通常存在模式崩溃问题,即合成的样本彼此高度相似,因此对下游任务(如知识蒸馏)的有效性有限。在本文中,我们提出了 Contrastive Model Inversion (CMI),其中数据多样性被明确地建模为一个可优化的目标,以缓解模式崩溃问题。我们主要观原创 2021-08-03 18:31:28 · 680 阅读 · 0 评论 -
Mosaicking to Distill Knowledge Distillation from Out-of-Domain Data
Mosaicking to Distill: Knowledge Distillation from Out-of-Domain Data在本文中,我们试图解决一项雄心勃勃的任务,即域外知识蒸馏(OOD-KD),它允许我们只使用可以以非常低的成本轻易获得的OOD数据来进行KD。诚然,由于不可知的领域差距,OOD-KD本质上是一项极具挑战性的任务。为此,我们介绍了一种方便而又令人惊讶的有效方法,被称为MosaicKD。MosaicKD背后的关键在于,来自不同领域的样本有共同的局部模式(local patt原创 2021-12-25 18:15:13 · 2512 阅读 · 0 评论 -
Orthogonal Regularization
正交性在ConvNet过滤器中是一种理想的品质,部分原因是与正交矩阵相乘会使原始矩阵的norm保持不变。这一特性在深度或循环网络中很有价值,因为重复的矩阵乘法会导致信号消失或爆炸。我们注意到用正交矩阵初始化权重的成功(Saxe等人,2014),并认为在整个训练中保持正交性也是可取的。为此,我们提出了一种简单的权重正则化技术,即正交正则化,通过将权重推向最近的正交流形来鼓励权重的正交。(we propose a simple weight regularization technique, Orthogona原创 2021-09-08 11:28:31 · 643 阅读 · 0 评论 -
SNGAN
【GAN优化】详解SNGAN(频谱归一化GAN)https://arxiv.org/pdf/1802.05957.pdf转载 2021-09-01 16:13:35 · 183 阅读 · 0 评论 -
BigGAN
BigGAN尽管生成图像建模最近取得了进展,但从像ImageNet这样的复杂数据集成功生成高分辨率、多样化的样本仍然是一个难以实现的目标。为此,我们在迄今为止尝试的最大规模上训练生成式对抗网络,并研究特定于这种规模的不稳定性。我们发现,对生成器应用正交正则化使其服从于一个简单的“截断技巧”,允许通过减少生成器输入的方差来精细控制样本保真度和多样性之间的权衡。我们的修改导致了模型在类别条件下的图像合成方面达到了新的水平。当在128×128分辨率的ImageNet上进行训练时,我们的模型(BigGANs)达原创 2021-08-20 17:14:22 · 627 阅读 · 0 评论 -
A LEARNED REPRESENTATION FOR ARTISTIC STYLE
A LEARNED REPRESENTATION FOR ARTISTIC STYLE绘画风格的多样性为形象的建构提供了丰富的视觉语汇。一个人学习和捕捉这种视觉词汇的程度衡量了我们对绘画更高层次特征的理解,如果不是对一般图像的理解的话。在这项工作中,我们研究了一个单一的、可扩展的深度网络的构建,它可以节省地捕捉多种绘画的艺术风格。我们展示了这样一个网络,通过将一幅画缩减到嵌入空间中的一个点来概括各种艺术风格。重要的是,这个模型允许用户通过任意组合从单个绘画中学习到的风格来探索新的绘画风格。我们希望这项工原创 2021-08-20 11:39:03 · 519 阅读 · 0 评论 -
Conditional image synthesis with auxiliary classifier GANs
Conditional image synthesis with auxiliary classifier GANs本文介绍了一种新的图像合成生成对抗网络(gan)改进训练方法。我们使用标签条件作用构建了GANs的一个变体,结果在128 × 128分辨率的图像样本中显示出全局一致性。我们扩展了以往的图像质量评估工作,提供了两种新的分析方法来评估分类条件图像合成模型中的样本的可辨别性和多样性。这些分析表明,高分辨率样本提供了低分辨率样本中不存在的类信息。在1000个ImageNet类中,128 × 128原创 2021-08-20 10:56:34 · 713 阅读 · 0 评论 -
Freeze the Discriminator a Simple Baseline for Fine-Tuning GANs
Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs生成式对抗网络(GANs)在计算机视觉、图形学和机器学习等领域表现出了出色的性能,但通常需要大量的训练数据和大量的计算资源。为了解决这一问题,几种方法将迁移学习技术引入GAN训练中。然而,他们要么倾向于过度拟合,要么局限于学习小的分布变化。在本文中,我们证明了简单的微调gan具有冻结的低层鉴别器表现惊人的好。这个简单的基线,即FreezeD,显著优于以前在无条件和条件gan中使用原创 2021-08-19 16:59:41 · 527 阅读 · 0 评论 -
Differentiable Augmentation for Data-Efficient GAN Training
Differentiable Augmentation for Data-Efficient GAN Training在训练数据量有限的情况下,生成式对抗网络(GANs)的性能会严重恶化。这主要是因为判别器正在记忆准确的训练集。为了解决这个问题,我们提出了可微分增强(DiffAugment),这是一个简单的方法,通过对真实和虚假样本施加各种类型的可微分增强来提高GANs的数据效率。以前直接augment训练数据的尝试操纵真实图像的分布,收效甚微;DiffAugment使我们对生成的样本采用可微增广,有效地原创 2021-08-18 20:29:27 · 2212 阅读 · 0 评论 -
Image Augmentations for GAN Training
Image Augmentations for GAN Training为了提高分类器的准确性和鲁棒性,数据增强已经被广泛研究。然而,在以前的研究中,图像增强在改善图像合成的GAN模型方面的潜力还没有被彻底研究。在这项工作中,我们系统地研究了现有的各种增强技术在各种环境下对GAN训练的有效性。我们提供了关于如何为vanilla GANs和具有正则化的GANs增强图像的见解和指南,大大改善了生成图像的保真度。令人惊讶的是,我们发现,如果我们在真实图像和生成的图像上使用增强技术,vanilla GAN的生成原创 2021-08-18 12:05:45 · 474 阅读 · 0 评论 -
Improved Consistency Regularization for GANs
Improved Consistency Regularization for GANs最近的工作(Zhang et al. 2020)通过在鉴别器上强制一致性代价,提高了生成对抗网络(gan)的性能。我们在几个方面改进了这项技术。我们首先说明一致性正则化可以将工件引入GAN样本,并解释如何修复这个问题。然后,我们提出了几个修改一致性正则化程序的设计,以提高其性能。我们进行了广泛的实验,量化了我们的改进带来的好处。对于CIFAR-10和CelebA上的无条件图像合成,我们的修改在各种GAN架构上产生了最原创 2021-08-18 11:15:09 · 698 阅读 · 1 评论