[论文阅读]（gMAD）

---

gMAD Competition

一. MAD[33]和gMAD竞争方法背后最基本的想法是放弃传统的原则。这里我们不是试图证明一个模型，而是试图反驳一个模型，一个更难被反驳的模型被认为是一个相对较好的模型。这个新原则使我们有机会大大减少所需的测试样本数量，因为在理想情况下，即使是一个反例也足以证明一个模型是错误的。

二. gMAD方法的另一个重要组成部分是使用一种高效和自动的方法来找到潜在的反例。当试图反驳一个模型(被称为辩护者defender)时，不要尝试手工设计或手工搜索最佳反例，gMAD利用一组其他模型(称为攻击者attackers)在数据库中搜索反例，这些反例对于攻击者模型是最优的，这样，如果攻击成功，防御者模型就会被推翻。如果相反，防御者从这样的攻击中幸存下来，这是一个强有力的信号，表明它可能是一个健壮和可靠的模型。gMAD使用所有可用的模型和模型中防御者-攻击者角色的所有可能组合来运行这个游戏，然后进行总体统计，以帮助总结竞争模型的相对性能。

gMAD竞争的详细过程如下:我们给出了一个数据库D，其中包含了N张不同失真类型和级别的图像。给出了一组M目标IQA模型。

1. 将所有M个IQA模型应用于D中的所有N幅图像，得到一个由M行N列组成的评分矩阵S，其中每个条目是一个特定IQA模型对特定图像的质量评分

2. 设i = 1，选择第一个模型作为防御者。其余M-1个模型是攻击者

3. 从k个质量等级中选择第一个质量等级k = 1，其中k->{1,2，···，K}

4. 在S的第i行，找到所有质量等级为k的图像(基于防御模型i)。这将得到图像的一个子集D_i_k，根据防御模型i，所有图像的质量分数相同或相似.

5. 从攻击者模型中选择一个模型j ( j != i)

6. 在D_i_k中，找到一对图像
   ，
   分别对应矩阵S第j行质量分数的最小和最大。该图像对被称为模型j提出的在质量等级k上攻击模型i的MAD反例

7. 对
   

进行主观质量判别测试(详情见第5.1节)

8. 选择另一个攻击者模型j，重复步骤6-7，直到用尽所有攻击者模型
9. 通过设置k = k + 1选择下一个质量级别，并重复步骤4-8，直到k = K(所有质量级别已用尽)
10. 通过设置i = i + 1选择下一个防御模型，并重复步骤3-9，直到i = M(所有IQA模型都用尽了)
11. 对主观质量判别检验结果进行统计分析(详见5.2节)。

这里值得一提的是gMAD竞争方法的几个有用特性：

1. 首先，该过程不依赖于所研究的特定图像数据库。同样的方法可以应用于任何内容和失真类型的任何图像集合。

2. 其次，gMAD选择用于主观测试的图像对个数为M(M-1)K，与图像数据库D的大小N无关，因此，将gMAD竞争应用于更大的数据库不会影响主观测试的成本。

3. 三是将每对选取的图像关联到两个IQA模型中，这两个模型对其感知图像质量的评价存在较大差异;一个人认为他们有相同的品质，而另一个人则认为他们有非常不同的品质。如果这一对很容易被人类实验对象区分，它们就构成了反对防御者模型的有力证据。另一方面，如果这两个人确实有相似的感知质量，他们提供了强有力的证据来支持防御者模型对抗攻击者模型。

4. 第四，在竞争中加入新的IQA模型既容易又划算。所有被选中的配对和相应的主观测试都不需要改变。唯一的额外工作是选择共2MK的新图像对进行主观测试，其中一半是新模型作为防御者，另一半是攻击者。

IQA模型比较

1. 在gMAD竞赛过程中，总共选择了16个IQA模型，涵盖了各种IQA方法，重点是NR模型。所有算法的实现均来自原作者。对于涉及训练的IQA模型，我们使用LIVE数据库[27]中的所有图像来训练模型。为了补偿模型预测对人类对图像质量感知的非线性，使比较更加一致，我们采用[29]中建议的logistic非线性函数（待看），将每个模型的预测得分映射到LIVE数据库[27]的MOS尺度。因此，所有算法的得分范围在[0,100]之间，得分越高表示感知质量越好。

2. 对于每个防御者模型，我们在质量尺度上均匀间隔定义了6个质量级别，以便所选图像子集具有从低质量级别到高质量级别的良好覆盖。在LIVE数据库[27]中，每个图像子集的质量范围被设置为MOSs的1标准偏差(std)1。因此，相同子集内的图像具有由防御者模型近似相同或相似的质量。然后攻击者模型从6个子集中选择图像对，如第4节所述。经过gMAD图像对的选择过程，共选择16(16-1)6 = 1440幅图像对进行后续主观测试。

应用范例

1. 为了进一步验证算法的泛化能力，在 Waterloo 数据库上进行群最大差异竞争测试(group Maximum Differentiation, gMAD)[86]，gMAD 从 Waterloo 数据库中有效地选择攻击者模型认为质量差异最大的图像对，而防守者模型认为这些图像对质量水平相同，观察者通过观察这些图像对来决定模型的泛化性能，其核心思想是通过 IQA 模 型间的相互竞争来验证模型泛化性能。让本章算法和 CORNIA[21]互相竞争，测试结果如图所示：
   
2. 在图 2.8 中前两列,首先固定 CORNIA 作为防守者模型,本章算法作为攻击者模 型;在图 2.8 中后两列,调换 CORNIA 和本章算法的角色,固定本章算法作为防守者 模型,CORNIA 作为攻击者模型 CORNIA 认为图 2.8 中前两列图像对质量水平相 同,本章算法认为图 2.8 中前两列图像对质量差异最大 本章算法认为图 2.8 中后两 列图像对质量水平相同,CORNIA 认为图 2.8 中后两列图像对质量差异最大 通过观 察可以发现,图 2.8 中前两列的图像对有明显的质量差异,图 2.8 中后两列的图像对 质量差异不明显,这说明本章算法在防守和攻击方面都很强大,进一步验证了算法的 泛化能力