Neural Side-By-Side: Predicting Human Preferences for No-Reference Super-Resolution Evaluation

Neural Side-By-Side: Predicting Human Preferences for No-Reference Super-Resolution Evaluation

Abstract
目前，SR缺乏合适的评价方式，阻碍了其的发展。传统的PSNR和SSIM与人类视觉感知联系较少，大多数工作通过Mean-Opinino-Score(MOS)进行评价，但这种方法取决于不同评价者的主观性，不能直接比较。
本文提出Neural Side-By-Side，可自动的对SR模型进行比较，并将其推广到新的数据集和模型。大致分为三步：
(1)收集成一个包含对齐图像对的大数据集，这些图像来源于不同的SR模型；
(2)每个图像对通过几个评价者注释，他们被要求选出最具吸引力的图片，作为label；
(3)给定dateset和label，训练出一个CNN模型，得到每个图像较之对应图像可能更具吸引力的概率。

1.Introduction
实际中存在着两点挑战：模型和超参数的选择。真实数据中ground truth的却是，意味着全参考的测量工具(例如PSNR,SSIM,LPIPS)无法使用。MOS成为了唯一的评价方法，但是这种方法耗时又昂贵，阻碍了其的使用。
本文介绍了Neural Side-By-Side，一种新的无参考的SR评价方法，可用于模型比较或参数微调。简言之：
(1)首先收集大量的对齐图像对，每张图像来自于不同的SR模型；
(2)接着通过人对每对图像进行标记，要求找出最具吸引力的图片；重要的是，每对图像来自同一个LR图像，因此label只反应图像质量，与内容无关。至此，得到数据集SBS180K;
(3)然后，训练CNN模型，预测图像对中每张图片较之对应图片更具吸引力的概率；这个概率来自大量对的均值，可以用于定量比较两种SR模型；
在实验部分，也证实了该方法的泛化性。
本文的贡献可概括为以下三点：
(1)提出Neural Side-By-Side，一种对SR模型的新型评价方法；
(2)发布了SBS180K，包含大量对齐数据对，并可用于新模型；
(3)将该方法用于评价基于公共标准集的SR模型。

2. Related work
Super-resolution evaluation. PSNR与SSIM和视觉感知联系不紧密，以及LPIPS这三种方法是全参考的，实际使用时存在弊端性。
No-reference image quality evaluation. No-Reference Image Quality Assessment (NR-IQA)是通过自身预测图像质量，无参考的通用方法，但都是在自然图像数据集上训练的。
NR-IQA for image super-resolution. 最接近本文的方法 [18] Ma, C., Yang, C.Y., Yang, X., Yang, M.H.: Learning a no-reference quality metric for single-image super-resolution.该方法从30张源图片中得到1620张图像。首先通过6个不同的下采样和模糊操作得到6幅LR图像，接着通过SR算法生成9张SR图像。所有图像先由人评价，接着训练一个近似于该评价的简单模型。但存在以下弊端：
(1)源图像太少，无法涵盖所有数据；
(2)所用SR方法太早，无法适用于先进方法；
(3)所有特征皆由人工提取，对于NR-IQA所需信号可能是次优的。
Prior datasets for learnable NR-IQA. 比较了先前方法，本文提出的数据集最具优势。

3. The SBS180K dataset
本文的数据集包含了176440对齐数据对，包含167019对训练对和9421对测试对。其中label自带一个分数，代表所描述图片较之另一张图片的审美吸引度，该分数与评价者的得分相同。每对图像对来自于同一个LR图像，并通过两种SR方法得到。
源图像选用不同视频图像的随机帧，为避免相似，每200个连续数据中选一帧。
3.1. Video selection
视频片段涵盖了各种可能适用SR的场景，比如老电影，动画片，电视节目和体育赛事等。总共选取了2071个视频片段，每个30秒。
3.2. Model selection
本文的实验大概包含了170种SR模型，主要基于SRGAN,DRCAN,SRResNet，ESRGAN。这些算法通常都包含大量的超参数，为了通过人类评价测量这些影响，进行了广泛的实验，针对于可能的设计调整，生成模型结构和SR模型。这些技巧包括各种数据准备方面(例如，调整噪声/对比度)、架构细节、辅助损失和各种损失权重。我们的模型是在一个由75个专有超高清电影预告片组成的专门构建的数据集上训练的。
Image resolution. 大多数图片分辨率是1280 × 720，也有少部分是 1920 × 1080；大多数的SR模型通过2倍尺度因子训练，也有另外的1.25倍，1.5倍，3倍的尺度因子训练得来的网络。