我们在上一篇文章里学习了StyleGAN2是怎样消除液滴伪影的,这是StyleGAN2论文讨论的最重要的一个问题,内容请参考:
StyleGAN2探骊得珠(二):论文解读与注释,一代中的ARTIFACT是怎样产生的,二代网络中又是怎样消除它们的?
上面这篇文章的内容对应于下面【表1】中的“B +Weight demodulation”。
论文中,第二个重要问题是如何对生成图像的质量进行定量分析,并且找到提升图像质量的新的方法,本篇文章就围绕这个问题来继续学习和解读StyleGAN2的论文,其内容对应于下面【表1】中的“C +Lazy regularization”和“D +Path length regularization”。
论文引言(Introduction)部分的第4自然段,作者开宗明义:对于用生成(对抗网络)方法产生的图像,图像质量的定量分析依然是一个具有挑战性的主题。Fréchet Inception Distance(FID)测量的是(被分析图像在)两个分布密度上的差异,而这两个分布是在Inception V3分类器的高维特征空间上进行计算得到的。精确度和召回率(P&R)通过显式地量化提供了额外的可视性,其中精确度是指与训练数据相似的生成图像的百分比,召回率是指(生成的“真”图像占)可以被生成的训练数据的百分比。我们使用这些度量值来量化(StyleGAN2模型的)改进程度。
FID 和 P&R 都是基于分类器网络,最近的研究发现分类器网络聚焦于纹理,而不是聚焦于形状。因而,这两个度量值不能准确地捕捉到图像质量的所有方面。我们注意到感知路径长度(PPL)度量值与形状的一致性和稳定型相关,(最初)引入PPL是把它当做评估潜码空间插值质量的一种方法。基于这个发现,我们对合成网络进行正则化运算以利于实现平滑映射(见:第3节),由此在图像质量上取得了清晰可见的改进。为了抵消计算开销,我们也建议以更低的频次来执行所有正则化运算(即:后文所说的“延迟正则化”,lazy regularization),我们注意到这么做并不影响(正则化运算的)效果。
【表1】. 主要(测试)结果。对于每一轮训练,我们选用FID数值最低的训练快照。我们用不同的随机种子计算每个度量值10次,然后取它们的平均值写入报告。“路径长度”(Path length)这一列(数据)对应于PPL度量值,它基于W空间的路径终点进行计算。对于LSUN数据集,我们报告的路径长度没有采用(对图像进行)中心裁剪的方法,该方法最初提出时是为了让FFHQ(数据集)应用它。 FFHQ数据集包含了7万张图像,在训练过程中我们向判别器展示(或者说:投喂)了2500万张图像。对于LSUN CAR数据集,对应的数字是89.3万张与5700万张。
【图4】. 使用StyleGAN基线模型(【表1】中的配置 A)时,感知路径长度与图像质量之间的联系。(a)PPL数值较低(≤ 第10个百分位数&#