论文阅读笔记 | MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment

文章链接：https://doi.org/10.48550/arXiv.2004.05508

文章题目

MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment

发表年限

2020

期刊/会议名称

Published in: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

论文简要

• 本文提出了一种基于深度元学习的 NR-IQA 指标。其基本思想是学习人类在评估具有各种失真的图像质量时所共享的元知识，然后可以轻松地适应未知的失真。
• 首先作者收集了针对不同失真的多个 NR-IQA 任务，然后采用元学习来学习不同失真共享的先验知识。
• 最后，在目标 NR-IQA 任务上对质量先验模型进行微调，以快速获得质量模型。
• 广泛的实验证明，所提出的指标在很大程度上优于现有技术水平。此外，从合成失真中学习的元模型也可以轻松推广到真实失真，这在IQA指标的实际应用中是非常理想的。

动机

• 训练 DCNNs 严重依赖于大量带注释的数据。由于通过人工标注图像质量非常昂贵且耗时，因此收集大规模的图像质量数据来训练 DCNNs 的 IQA 模型是困难的。IQA 是一个典型的小样本问题。现有注释的 IQA 数据库的规模通常是有限的，因此直接使用这些数据库来训练深度 IQA 模型很容易导致过拟合问题。
• 大多数现有的基于深度卷积神经网络 DCNNs 的 IQA 指标都是基于预训练的网络运行的。这些预训练的网络不是为 IQA 任务设计的，会导致模型在评估不同类型的图像退化时出现泛化问题。预训练模型并不是为 IQA 任务设计的，因此它们无法轻松适应新类型的失真。
• 在现实世界的情况下，人类可以轻松从具有各种失真的图像中获得质量先验知识并快速适应对未知失真图像的质量评估，因此对于 NR-IQA 方法来说，学习人类在评估具有各种失真的图像质量时的共享先验知识至关重要。

主要思想或方法架构

• 作者通过一些已知失真类型的 NR-IQA 任务来学习一个共享的质量先验模型，然后针对未知失真的 NR-IQA 任务进行微调。方法的整体框架如图所示，包括两个步骤，即质量先验模型的元训练和未知失真的 NR-IQA 的微调。
• 在第一步中，作者利用一些特定失真的 NR-IQA 任务建立一个元训练集，进一步将其分为支持集和查询集两个子集。然后使用从支持集到查询集的双层梯度下降方法来学习质量先验模型。
• 深度回归网络由卷积层和全连接层组成。卷积层来自于一个常用的深度网络，作者采用全局平均池化（GAP）操作来生成全连接层。然后，作者添加另一个全连接层来生成作者深度回归网络的输出。
• 特别地，对于输入图像 $x$，作者将其输入深度网络，生成图像的预测质量分数 $\tilde{y}$，定义为：

• 其中 $\theta$ 为初始化后的模型参数。作者使用欧氏距离的平方作为损失函数，其形式如下

• 其中 $y$ 为输入图像 $x$ 的 $ground-truth$ 质量分数。
• 从许多特定失真的 NR-IQA 任务中获得元训练集 。

• 其中，${D_s}^{P(\tau )}$ 和 ${D_q}^{P(\tau )}$ 分别是每个任务的支持集和查询集，$N$ 是总任务数。
• 为了捕捉不同 NR-IQA 任务之间的通用模型，作者从元训练集中随机抽取 $k$ 个任务作为一个小批次（$1$ < $k$ ≤ $N$）。
• 对于小批次中第 $i$ 个支持集 ，可通过欧氏距离的平方 $\mathcal{L}$ 计算损失，并表示为 ${\mathcal{L}}_{\tau i}$（$i$ $\in$ {$1,2,...,k$}）。
• 作者利用更高效的随机梯度下降 $SGD$ 方法来优化模型。
• 首先计算与所有模型参数相关的损失函数 ${\mathcal{L}}_{\tau i}$ 的一阶梯度，并定义为：

• 接下来，作者使用 $Adam$ 优化器在支持集 ${D_s}^{\tau i}$ （$i$ $=$ $1,2,...,k$）上对模型参数进行 $S$ 步更新。
• $Adam$ 优化器的定义如下：

• $\epsilon =1e-8$
• $\alpha$ 是内部学习率。
• $m_{\theta (s)}$ 和 $v_{\theta (s)}$ 分别表示梯度的一阶和二阶原始矩，定义如下：

• 其中 $m_{\theta (s)}=0$ 且 $v_{\theta (s)}=0$
• ${\mu }_1$ 和 ${\mu }_2$ 是 $m_{\theta (s)}$ 和 $v_{\theta (s)}$ 的指数衰减率。
• $g_{\theta (s)}$ 表示第 $s$ 步中更新后的梯度 。
• 模型参数 ${{\theta }^{{}^{\prime }}}_i$ 可以通过 $Adam$ 优化器在查询集 ${D_q}^{\tau i}$ （$i$ $=$ $1,2,...,k$）上进行 $S$ 步更新，具体形式如下：

• 这里的 $m_{{\theta }^{{}^{\prime }}(s)}$ 和 $v_{{\theta }^{{}^{\prime }}(s)}$ 分别表示梯度的一阶和二阶原始矩。
• 对于 $k$ 个任务的小批次处理，所有任务的梯度被整合以更新最终的模型参数，定义如下：

• 其中 $\beta$ 是外部学习率。
• 通过这种方法，作者在元训练集 ${D^{p(\tau )}}_{meta}$ 上迭代地对 $k$ 个 NR-IQA 任务进行采样来训练深度回归网络 $f_{\theta }$。
• 最终，通过双层梯度优化的元学习可以获得适用于各种图像失真的质量先验模型。
• 在第二步中，作者在目标 NR-IQA 任务上对质量先验模型进行微调，以获得质量模型。
• 在对于未知失真的微调中，在从若干特定失真的 NR-IQA 任务中训练质量先验模型后，作者将使用该模型作为先验知识，在具有未知失真的 NR-IQA 任务上进行微调。
• 对于来自目标 NR-IQA 任务的 $M$ 张训练图像，并带有注释的质量分数，作者对于第 $i$ 张图像的预测分数和真实分数使用欧氏距离的平方作为损失函数，其定义如下：

• 然后，作者利用 $Adam$ 优化器在 NR-IQA 任务上对质量先验模型进行 $P$ 步的更新，定义如下：

• 其中 ${\alpha }_f$ 是微调的学习率。 $m_{\theta (p)}$ 和 $v_{\theta (p)}$ 分别表示梯度的一阶和二阶原始矩。

• 最终，可以获得用于评估具有未知失真图像质量的质量模型。

• 值得注意的是作者提到他所提出的方法的微调过程不需要学习额外的参数，这极大地提高了学习效率，并增强了模型的泛化能力。

实验结果

• 为了验证作者提出的元模型对未知失真的泛化性能，作者通过在 $TID2013$ 和 $KADID$-$10K$ 数据库上使用留一失真交叉验证，将所提出的方法与六种最先进的通用 NR-IQA 方法进行了比较。

• 表中列出了所提出的方法和最先进的 NR-IQA 方法的测试 $SROCC$ 值，每种失真类型的最佳结果以粗体标记。
• 可以看到，作者提出的方法在两个数据库上的总体性能(平均结果)都大大优于其他方法。
• 在TID2013数据库中，作者提出的方法对超过一半的失真类型的SROCC值大于 $0.9$，这表明提出的基于元学习的 NR-IQA 方法可以有效地学习共享质量先验模型，并快速适应未知失真类型的 NR-IQA 任务。

• 为了进一步研究所提出的方法的有效性是否来源于元学习，作者进行了消融实验。
• 基线方法是首先直接使用 $Adam$ 优化器在特定畸变的图像上训练网络模型，然后在真实畸变图像的训练集上对模型进行微调。
• 与基线方法相比，$MetaIQA$ 具有更好的泛化性能，可以在不改变网络结构的情况下提高 NR-IQA 模型的性能。