RESIDE：Benchmarking Single Image Dehazing and Beyond

转自了解图像去雾数据集RESIDE - 知乎 (zhihu.com)

RESIDE数据集

分为standard和bata（β：大气散射系数）（公测）两部分

包含了许多室内场景图像和相应的室外场景图像。室内场景图像是在真实的室内环境中拍摄的，而室外场景图像是通过将相同场景的室内图像转换为室外风格而生成的。

standard版

使用来自现有室内深度数据集NYU2和米德尔伯里立体数据集（Middlebury Stereo）的1399个清晰图像生成。每个清晰图像合成10个模糊图像。一共生成13990个模糊图像，其中，13000个用于训练，990个用于验证。

设置每个通道大气光A在[0.7,1.0]之间，均匀随机选择β在[0.6,1.8]。因此，它包含成对的清晰和模糊的图像，其中清晰的地面实况图像可以导致多个对，其朦胧图像是在不同的参数A和β下生成的。

由综合测试集（SOTS）、混合主观测试集(HSTS)组成，旨在表现出多种评估观点。SOTS从NYU2中选择500个室内图像（与训练图像不重叠），并按照与训练数据相同的过程来合成模糊图像。  专门为测试创建具有挑战性的去雾情况，例如，添加了浓雾的白色场景。HSTS采用与SOTS相同的方式生成10个合成的户外朦胧图像，以及10个真实世界的朦胧图像，收集现实世界的室外场景 ，结合进行人体主观评审。(annotation：注释）

β版

由于机器视觉系统对室外环境下的去雾要求越来越高，为了消除当前的脱雾研究与实际应用需求之间的差距，引入了β部分。

在比较了不同的深度估计方法后，我们发现在Learning depth from single monocular images using deep convolutional neural fifields中提到的算法可以产生更少的深度误差以及更少的视觉造假现象。

因此，作者使用2061张来自北京实时天气的真实室外图，使用上述方法对每幅图进行深度估计，最终用β在[0.04、0.06、0.08、0.08、0.1、0.15、0.95、0.95、1]中合成了72,135张户外模糊图像。这套新的图像被称为户外训练集（OTS），由成对的干净的户外图像和生成的模糊图像组成。

（正文部分）RESIDE：Benchmarking Single Image Dehazing and Beyond

转自RESIDE：Benchmarking Single Image Dehazing and Beyond_reside数据集-CSDN博客

提出三项贡献：

· 我们引入了一种新的单图像去雾基准，称为真实单图像去雾（RESIDE）数据集。 它具有大规模的综合训练集，以及分别为客观和主观质量评估设计的两套不同的数据集。 我们进一步介绍RESIDE-beta集，这是RESIDE基准测试的一个探索和补充部分，包括关于当前训练数据内容（室内和室外图像）和评估标准（从人类视觉或机器视觉角度）的障碍的两个创新讨论。 特别是在后一部分，我们使用对象边界框来注释一个由任务驱动的4,322个真实世界模糊图像的评估集，这是它的第一个贡献。
· 我们根据新的RESIDE和RESIDE-beta数据集引入一套创新的评估策略。 在RESIDE中，除了广泛采用的PSNR和SSIM之外，我们进一步采用无参考度量和人类主观评分来评估去雾效果，特别是对于没有清晰GT的真实世界模糊图像。 在RESIDE-中，我们认识到实际中的图像去雾通常用作中级和高级视觉任务的预处理步骤。 因此，我们建议利用感知损失[32]作为“全参考”任务驱动的度量，捕获更高级别的语义，并将去噪图像上的对象检测性能作为“无参考”任务特定的评估标准，用于去雾现实图像[20]。
· 我们进行了广泛而系统的实验，以定量比较九种最先进的单一图像去雾算法，使用新的RESIDE和RESIDE-beta数据集以及建议的各种评估标准。 我们的评估和分析展示了最先进算法的性能和局限性，并带来了丰富的见解。 这些实验的结果不仅证实了人们普遍认为的，而且还提出了单一图像去雾的新研究方向。

RESIDE的一个显着特征在于其评估标准的多样性，从传统的完整参考指标到更实用的无参考指标，以及所需的人类主观评级。

评估策略
1）从完全参考到无参考：
尽管用于评估去雾算法的全参考PSNR / SSIM指标的普及，但由于在实践中不能获得清晰的地面实况图像以它们本身就受到限制与人类感知质量难以保持一致[33]。 因此，我们参考两个无参考IQA模型：基于空间谱熵的质量（SSEQ）[45]，以及使用DCT统计的盲图像完整性标记（BLIINDS-II）[44]，以补充PSNR / SSIM的短缺。 请注意，[45]和[44]中使用的SSEQ和BLIINDS2的分数范围从0（最佳）到100（最差），我们反转分数以使相关性与完整参考度量一致。

我们将PSNR，SSIM，SSEQ和BLIINDS-II应用于SOTS的去噪结果，并检查它们产生的除雾算法排名的一致性。 我们还将在HSTS上应用四个指标（仅在10个合成图像上计算PSNR和SSIM），并进一步将这些客观测量与主观评级进行比较。
 

RESIDE是一个包含合成&现实模糊的大规模基准测试。

5个子集（包括standard和bata两部分）：

训练集：

室内训练集（ITS）（13990个合成的模糊图像，由来自室内深度数据集NYU2和米德尔伯里立体数据库的1,399个清晰图像生成，通过在不同的参数大气光A和散射系数β下，1张清晰的图像生成10张模糊图像。其中13000张用于训练，990个用于验证）

室外训练集（OTS）（另一种选择是从户外图像中估计深度，然后合成模糊的图像。在比较了不同的深度估计方法后，我们发现在Learning depth from single monocular images using deep convolutional neural fifields中提到的算法可以产生更少的深度误差以及更少的视觉造假现象。

因此，作者使用2061张来自北京实时天气的真实室外图，使用上述方法对每幅图进行深度估计，最终用β在[0.04、0.06、0.08、0.08、0.1、0.15、0.95、0.95、1]中合成了72,135张户外模糊图像。这套新的图像被称为室外训练集（OTS），由成对的干净的户外图像和生成的模糊图像组成。）

测试集：

综合目标测试集（SOTS）（从NYU2中选择500个室内图像（与训练图像不重叠），按照同样的过程来合成模糊图像）（文件里为50张清晰的生成500张模糊的）

混合主观测试集（HSTS）（20张=对应的10张真实世界的朦胧图像+10张合成的户外朦胧图像），以及收集真实世界的室外场景

现实世界任务驱动测试集（RTTS）（用对象边界框注释了一个由4322个真实世界模糊图像组成的任务驱动评估集）

NYU2介绍

NYU2数据集有含有1449张RGBD图像，这些图像中包含464个不同的室内场景。

组成：

NYU2数据集由三个部分组成：1.视频中对象的标注信息。2.由微软Kinect提供的RGB、深度和加速度数据。3.一个用于操作数据和标注的函数集。

Middlebury Stereo 数据集

MS数据集由真实场景的清晰图片及其深度图组成，该数据集根据图片中物体的不同被分为33个子集，通常其中的10个作为训练集，10个作为测试集，剩余的13个子集作为补充。该数据集的图片示例及使用方法可以在http://vision.middlebury.edu/stereo/data/获取。该数据中全尺寸为1800*1500，半尺寸为 900*750，正常尺寸为450*375。
转自图像去雾常用数据集_reside数据集下载-CSDN博客

α版本：内测版本

β版本：公测版本

一些疑问

疑问1：上面里表格里说明ITS有13000张模糊图片，且是由1300张清晰的图片以1:10的方式生产的。但是，在官网上下载了ITS数据集，里面的训练集有1000张清晰的图片，对应的有100000张生成的模糊图。数量怎么与理论介绍的不符呢？

上面说明ITS里验证集有990张模糊图片，但是下载的文件里的验证集里有999张清晰的图片，对应生成9990张模糊图片。与理论介绍的数量也不符。

疑问2：SOTS数据集中，上面说从NYU2中选择500个室内图像（与训练图像不重叠），按照同样的过程来合成模糊图像，就是合成了5000个模糊图像。但是实际下载下来的SOTS中，只有50张清晰的图像，对应生成500张模糊图像。数量对不上。

以上是我自学的关于RESIDE数据集的一些知识与疑问，有没有小伙伴可以帮忙解答一下。