GIQA MBPSQM

1、GIQA: Generated Image Quality Assessment

生成性对抗网络（generativecontainarial networks，GANs）在今天取得了令人印象深刻的成果，但并非所有生成的图像都是完美的。最近出现了许多生成模型的量化标准，但没有一个是针对单个生成图像而设计的。本文提出了一个新的研究课题：生成图像质量评估（GIQA），它可以定量地评估生成图像的质量。
我们从基于学习和基于数据的两个角度介绍了三种GIQA算法。我们在不同的数据集上评估了由各种最新的GAN模型生成的图像，并证明它们与人类的评估一致。

本文从基于学习和基于数据的两个角度介绍了三种GIQA算法。

对于基于学习的方法，我们应用CNN模型来回归生成图像的质量分数。这种方法的困难在于不同的生成模型可能有其独特的退化。几乎不可能获得大量人工标记的数据来覆盖各种退化。因此，我们提出了一种新的半监督学习方法。在生成模型的训练过程中，我们观察到生成图像的质量越来越高。在此基础上，我们使用不同迭代次数的模型生成图像，并以迭代次数作为质量分数的伪标签。为了消除标签噪声，我们提出了一种利用多个二元分类器作为回归器来实现回归的新算法。我们的基于学习的算法可以应用于各种不同的模型和数据库，而不需要任何人工注释。
标签值：

多个二元分类器作为回归量

对于基于数据的方法，本质是生成的图像与真实图像的相似度可以表示质量，因此我们将GIQA问题转化为真实图像的密度估计问题。这个问题可以大致分为参数方法和非参数方法。对于参数化方法，我们直接采用高斯混合模型（GMM）来捕捉真实数据的概率分布，然后估计生成图像的概率作为质量分数。虽然这个模型非常简单，但我们发现它在大多数情况下都能很好地工作。

参数化方法的一个局限性是所选的密度可能无法捕捉到复杂的分布，因此我们提出了另一种非参数方法，通过计算生成图像与其K近邻（KNN）之间的距离，距离越小表示概率越大。

基于学习的方法和基于数据的方法各有优缺点。基于GMM的方法简单易行，不需要生成任何图像就可以进行训练，但它只适用于相对简单的分布式数据库。基于KNN的方法具有无需训练阶段的优点，但由于需要存储整个训练集，因此其存储开销较大。基于学习的方法可以处理各种复杂的数据分布，但在不同迭代次数下采集不同模型生成的图像也非常耗时。考虑到有效性和效率，我们主要推荐GMM-GIQA。实验部分对这三种方法进行了详细的评价。

所提出的GIQA方法可以应用于许多领域。1） 我们可以将其应用于生成性模型评估。目前的生成模型评估算法如Inception Score[17]和FID[18]评估生成模型的性能，分数代表两个方面的总和：真实性和多样性。我们提出的GIQA模型可以分别评估这两个方面。2） 通过使用我们的GIQA方法，我们可以评估生成器特定迭代生成的图像的质量，并对这些样本的质量进行排序，我们建议生成器更加关注质量较差的样本。为了实现这一点，我们在鉴别器中采用了在线硬负挖掘（OHEM）[19]，对质量较低的样本进行较大的权重损失。大量实验表明，该策略提高了发电机的性能。3） 我们可以利用GIQA作为图像选取器来获得高质量的生成图像的子集。

可评价生成性模型的真实性和多样性

2、Blind Predicting Similar Quality Map for Image Quality Assessment

盲图像质量评价（BIQA）的一个关键问题是如何以数据驱动的方式有效地建模人类视觉系统的特性。本文提出了一个简单有效的BIQA模型，该模型基于一个由全卷积神经网络（FCNN）和一个池网络组成的新框架来解决这个问题。理论上，FCNN能够利用传统的全参考图像质量评估方法得到的中间相似度图，仅从失真的图像中预测出逐像素的相似质量图。预测的逐像素质量图与畸变图像之间的失真相关性具有良好的一致性。最后，一个深池网络将质量图回归为一个分数。实验表明，我们的预测优于许多先进的BIQA方法。

算法结构由两部分组成，第一个全连接的FCNN用来生成相似质量图，而后将相似质量图输入第二个DPN中用来拟合IQA的得分，整体网络结构如下图所示：红色部分为生成网络，用来生成质量图；蓝色部分为回归网络，用来拟合图像质量得分。

首先，FCNN的生成网络部分，网络结构是U-Net，4个下采样和对应的4个上采样通过skip连接起来，以便于更好的获得浅层的信息。输入图像是distorted图像中裁剪得到的image patch（不同于WaDIQAM等IQA方法，这里的patch大小设置为1441443，相别而言要大很多），label直接利用现有的表现良好的几个FR-IQA指标获得，这里选取的是SSIM，FSIM和MDSI，这三种方法几乎是目前除深度学习之外最好的FR-IQA方法了。用这三种方法求得相似度图作为对应label，SSIM是根据图像的亮度，对比度和结构性进行平均求得相似性，所以直接选取SSIM派生的相似度图直接用作label；FSIM通过合并权重来组合PC相位一致性和GM梯度幅度，所以分别选择PC和GM两个相似图作为label；MDSI 选择渐变和色度相似图的组合作为label。这样就会有4种label（1+2+1），分别对应着4个生成网络的model。

由上述4个model产生的预测质量图通过一定的融合输入到DPN中进行打分，融合方式有下图两种，a先对map进行concat再经过single网络预测得分称为single stream；b用不同的两支网络进行特征提取，再进行concat，称为multi stream。