WeatherStream: Light Transport Automation of Single Image Deweathering （一个在各方面近乎完美的真实世界数据集）

一、准备工作

Paper:openaccess.thecvf.com/content/CVPR2023/papers/Zhang_WeatherStream_Light_Transport_Automation_of_Single_Image_Deweathering_CVPR_2023_paper.pdf

Code: https://github.com/UCLA-VMG/WeatherStream/blob/main/README.md

二、论文介绍

TASK:We propose a new dataset, publicly available, that makes all image-based deweathering models we tested perform better.

MOTIVATION:Recent work has attempted to manually collect time multiplexed pairs, but the use of human labor limits the scale of such a dataset.

CONTRIBUTION:We introduce WeatherStream, an automatic pipeline capturing all real-world weather effects (rain, snow, and rain fog degradations), along with their clean image pairs.

一、准备工作

Paper:openaccess.thecvf.com/content/CVPR2023/papers/Zhang_WeatherStream_Light_Transport_Automation_of_Single_Image_Deweathering_CVPR_2023_paper.pdf

Code: https://github.com/UCLA-VMG/WeatherStream/blob/main/README.md

二、论文介绍

TASK:We propose a new dataset, publicly available, that makes all image-based deweathering models we tested perform better.

MOTIVATION:Recent work has attempted to manually collect time multiplexed pairs, but the use of human labor limits the scale of such a dataset.

CONTRIBUTION:We introduce WeatherStream, an automatic pipeline capturing all real-world weather effects (rain, snow, and rain fog degradations), along with their clean image pairs.

一、准备工作

Paper:openaccess.thecvf.com/content/CVPR2023/papers/Zhang_WeatherStream_Light_Transport_Automation_of_Single_Image_Deweathering_CVPR_2023_paper.pdf

Code: https://github.com/UCLA-VMG/WeatherStream/blob/main/README.md

二、论文介绍

TASK:We propose a new dataset, publicly available, that makes all image-based deweathering models we tested perform better.

MOTIVATION:Recent work has attempted to manually collect time multiplexed pairs, but the use of human labor limits the scale of such a dataset.

CONTRIBUTION:We introduce WeatherStream, an automatic pipeline capturing all real-world weather effects (rain, snow, and rain fog degradations), along with their clean image pairs.

三、论文方法

本论文的总流程是：在在视频流中自动获取场景相同但天气情况不同的的图片对，因此图片对应该满足如下四个原则：

Principle 1 (Background Conformity):

我们获取的图片对，要保证两两之间物体没有变动，且图片颜色稳定。

添加图片注释，不超过 140 字（可选）

作用：为图片的筛选提供了一个原则，即除了雨雪等天气情况，图片的背景需要满足的要求。

Principle 2 (Particle Chromatic Variation):

我们要保证雨带和雪花在RGB像素强度上呈现各向同性导数[74]。

天气因素对图片对像素强度的影响：

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

我们可以将干净和退化图像的之间的光强变化写成与背景强度I_bg线性相关的形式,说明天气的伪影在对[R,G,B]像素在一个曝光时间T上的影响应该是各向同性的。

作用：为我们提供一个找到场景中不受天气影响的亮度和颜色变化的因素的线索，并对其进行标注。（如物体，光照源的变化。

Principle 3 (Scatter-dependent Blur):

由于散射效应，退化的图像比干净的图像更模糊

为了解释散射效应产生的遮蔽效应，我们先使用单散射模型（SSM）：

添加图片注释，不超过 140 字（可选）

通过大气点扩散函数进行卷积处理：

添加图片注释，不超过 140 字（可选）

将雨雪模型替换为底层辐射：

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

作用：解释了为什么雨雪图片会产生低对比度与模糊的效果，这些参数会应用到后续的算法流程中，以便更好地抓取时间多路复用对。

Principle 4 (Illumination Consistency):

该原则表明：在不同天气的影响下，环境照明应该保持一致，即使天气发生变化，场景的整体照明水平也应该保持一致。

由于对不受控制的场景的照明先验未知的，故无法使用准确的数学模型来描述这种情况，在实际情况中下落的颗粒（雨和雪）也会影响环境的整体亮度。

我们采用一种种子模型，来学习照明是否发生了变化，同时设定安全裕度来避免误报的情况。

总流程：

添加图片注释，不超过 140 字（可选）

下面我们来解释流程函数的四个模块：

Filtering Block One: Scene-level Verification:

基于原则1，我们去实现第一个模块：

首先对于采集到的退化图片集中的各个图片，为了避免雨，雪等天气状况对实现模块一功能的影响，我们Gunnar-farneback算法构建f_(weather_remove) 函数，对相邻帧求平均，以达到去除雨雪等粒子的功能：

添加图片注释，不超过 140 字（可选）

令 γ_static = 0.1、B_OF 指光流二进制图，用于捕捉相邻帧之间存在运动的像素，并将其置1， B_sky表示将天空区域的像素置1的二进制图片。

添加图片注释，不超过 140 字（可选）

在图片中对三个区域去交集区域的补集区域处切割出256×256的图片（c,d）

添加图片注释，不超过 140 字（可选）

Filtering Block Two: Color Verification:

第二个块利用第3节中的原则2，通过确保RGB通道的各向同性强度变化来避免雨条和雪花的错误检测。我们使用的过滤函数的形式为:

添加图片注释，不超过 140 字（可选）

移除在∆R、∆G或∆B之间有较大间隙的像素，可以捕捉到图像对中存在的静态物体差异，同时保留雨痕和雪花。

Filtering Block Three: Multi-scatter Verification:

该模块的目的是为了验证（c,d）中的d,也就是我们的雨雪退化图像是否存在散射，根据原理3：所有退化图像都应包含通过多重散射模型表现出的遮蔽效应：

根据原理3中的APSF模型，定义了两个比较指标：低对比度和模糊

1）对于低对比度指标，我们使用sobel滤波器对（c,d）进行处理，并对二者进行对比度测量，计算二者的归一化差异：

添加图片注释，不超过 140 字（可选）

2）对于模糊指标，我们使用低通滤波器对（c , d）进行处理，并对二者进行模糊度测量，计算二者的归一化差异：

添加图片注释，不超过 140 字（可选）

截止频率的选择取决于（APSF）大气扩散函数的特性。与光学厚度，和粒子密度有关。

图片入选的标准：如果退化图像 d ̃ 比干净图像 c ̃ 更加清晰，则将该场景过滤，如果退化图像和干净图像之间的两个指标均大于5%，则不过滤该图像。

Filtering Block Four: Illumination Verification:

退化图像 d ̃ 和干净图像 c ̃在光照上应该是保持一致的，但这种变化很难用公式来量化，因为下落粒子的遮蔽效应，与照明变化在不受控制的场景中可能会相互混淆，因此我们引入了种子模型发挥作用。

该方法目的在于区分环境照明变化与遮蔽效应，在小种子架构上传达了足够的场景理解，使模型形成了粗糙的二值决策边界，以评估帧之间的照明是否一致。

我们使用Rain-robust模型[3]作为种子模型。该模型在种子数据集GT-RAIN[3]和人工采集的积雪数据集40K对上进行训练。积雪数据集包括通过与GT-RAIN类似的程序收集的时间复用对。

添加图片注释，不超过 140 字（可选）

Pipeline Algorithm

添加图片注释，不超过 140 字（可选）

四、实验与结果分析

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

五、读论文心得

提供了一个完美的真实世界数据集，不但比合成的数据集要好，而且比手工合成的数据集还要好，且数量多，收集数据省时省力。以后就用这个数据集了！！