【论文阅读】Heavy Rain Image Restoration-Integrating Physics Model and Conditional Adversarial Learning

论文链接发表于CVPR2019

问题

论文主要解决大雨场景下的图像存在rain accumulation的问题。作者在之前发过的文章里解释过rain accmulation：

where individual streaks cannot be seen, and thus visually similar to mist or fog

也就是说，下大雨时某些雨点连成线，甚至产生雾气效果，导致背景受到破坏，模糊不清。

在这种情形下，以往简单的去雨模型（如下）无法做到去除图像中相互交织的雨点、雨线，同时较好地还原背景。

模型

作者提出一个两阶段模型：
1、physics-based network
使用filtering framework提取出图片中分别包含rain streak和rain accumulation的高分辨率和低分辨率信息，估计出由潜在物理属性控制的雨点集合$S$、transmission map $T$、环境光强$A$。将上面提到的以前常用的公式替换为可以同时表征rain streaks 和 rain accumulation的公式：

filtering的过程由没有雨点的残差图像指导，该图像以空间变化的方式为两个通道设置passband，使得背景细节不与雨点混为一体

2、refinement stage
利用一个深度图指导的conditional GAN恢复背景细节

第一阶段由上图所示公式控制，但这样的物理模型只是对雨场景的估计值，加入第二阶段可以使得模型鲁棒性得到提升。但同时，第二阶段也不可单独使用，因为该阶段的模型仍然需要第一阶段提取出的物理特征的有效的指导

整个结构如图所示：

Stage1 Physics-based Restoration

将原图分解为高低频部分（高频即灰度值突变的位置），用于估计S, A, T

• 因为雨图中rain streak和rain accumulation交织，对图进行分解可以有效降低预估的复杂度
• 输入图像I，获得不含雨点的背景图$J$
• 使用residual image指导过滤过程
  

Stage2 Model-Free Refinement:cGAN

使用GAN结构，以原图$I$和第一阶段的估计值$J$作为输入，生成不含雨的图$C$。generator负责生成看起来较为纯净的图像“以假乱真”，discriminator接受并检验generator生成的图像以学习到GT和生成图的不同。
一般丢失信息的部分一般是图像中远处的背景细节，因此将T转化成深度图(depth map)，用于与算出的特征值进行残差比较。越远的物体有较大的深度值，其产生的误差反向传播时拥有更高的权重。

实验

数据准备

对于Stage1，由于缺少包含rain accumulation的雨图，作者利用NYU-Rain数据集作为背景，合成雨图；
对于Stage2，对Outdoor-Rain数据集使用工具估计深度图。

Ablation Study

1、以不同的顺序组合去雾（DHF）去雨模型（DRF）
结果显示

2、分解模块
将模型分为三种类型：没有第一阶段的分解模型；用输入图像指导的分解；残差图指导的分解。
从表中可以看出，分解操作能带来很大的提升

3、提纯阶段
下图显示了中间结果J和最终结果C之间的对比。可以看到，根据深度图d，C在J的基础上对部分像素的颜色进行了修补，使其拥有更好的视觉效果

与其他模型对比的量化结果和视觉效果

在PSNR和SSIM上的量化结果：

可视化结果：
第二列为该模型去雨后的效果，可以看到，对于大雨下异常模糊的图像，该模型可以很好地去除雨雾同时对背景细节进行很好地填充。

心得

论文提出的模型有针对性地解决了大雨场景中图像的去雨问题，将复杂的问题分为两阶段进行，效果很好，体现了物理模型和GAN的强大。但是两个阶段的模型都稍显复杂，而且经过了精心的设计，约束条件较多。

源码

github链接