StyleGAN2探骊得珠(三):论文精读与注释,二代是怎样利用PPL来提升图像质量的?

本文详细解读了StyleGAN2如何通过感知路径长度(PPL)正则化来提高生成图像的质量。研究发现,较低的PPL与高质量图像相关,并通过实验证明正则化可以显著改善PPL分布。 StyleGAN2通过避免过度的路径变形,保持生成器映射的平滑性,从而提升图像质量。
摘要由CSDN通过智能技术生成

我们在上一篇文章里学习了StyleGAN2是怎样消除液滴伪影的,这是StyleGAN2论文讨论的最重要的一个问题,内容请参考:

StyleGAN2探骊得珠(二):论文解读与注释,一代中的ARTIFACT是怎样产生的,二代网络中又是怎样消除它们的?

上面这篇文章的内容对应于下面【表1】中的“B +Weight demodulation”。

 

论文中,第二个重要问题是如何对生成图像的质量进行定量分析,并且找到提升图像质量的新的方法,本篇文章就围绕这个问题来继续学习和解读StyleGAN2的论文,其内容对应于下面【表1】中的“C +Lazy regularization”和“D +Path length regularization”。

论文引言(Introduction)部分的第4自然段,作者开宗明义:对于用生成(对抗网络)方法产生的图像,图像质量的定量分析依然是一个具有挑战性的主题。Fréchet Inception Distance(FID)测量的是(被分析图像在)两个分布密度上的差异,而这两个分布是在Inception V3分类器的高维特征空间上进行计算得到的。精确度和召回率(P&R)通过显式地量化提供了额外的可视性,其中精确度是指与训练数据相似的生成图像的百分比,召回率是指(生成的“真”图像占)可以被生成的训练数据的百分比。我们使用这些度量值来量化(StyleGAN2模型的)改进程度。

FID 和 P&R 都是基于分类器网络,最近的研究发现分类器网络聚焦于纹理,而不是聚焦于形状。因而,这两个度量值不能准确地捕捉到图像质量的所有方面。我们注意到感知路径长度(PPL)度量值与形状的一致性和稳定型相关,(最初)引入PPL是把它当做评估潜码空间插值质量的一种方法。基于这个发现,我们对合成网络进行正则化运算以利于实现平滑映射(见:第3节),由此在图像质量上取得了清晰可见的改进。为了抵消计算开销,我们也建议以更低的频次来执行所有正则化运算(即:后文所说的“延迟正则化”,lazy regularization),我们注意到这么做并不影响(正则化运算的)效果。

【表1】. 主要(测试)结果。对于每一轮训练,我们选用FID数值最低的训练快照。我们用不同的随机种子计算每个度量值10次,然后取它们的平均值写入报告。“路径长度”(Path length)这一列(数据)对应于PPL度量值,它基于W空间的路径终点进行计算。对于LSUN数据集,我们报告的路径长度没有采用(对图像进行)中心裁剪的方法,该方法最初提出时是为了让FFHQ(数据集)应用它。 FFHQ数据集包含了7万张图像,在训练过程中我们向判别器展示(或者说:投喂)了2500万张图像。对于LSUN CAR数据集,对应的数字是89.3万张与5700万张。

【图4】. 使用StyleGAN基线模型(【表1】中的配置 A)时,感知路径长度与图像质量之间的联系。(a)PPL数值较低(≤ 第10个百分位数&#

  • 6
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值