去雨方向工作概述（一）

最新推荐文章于 2024-09-04 22:50:28 发布

行走的歌

最新推荐文章于 2024-09-04 22:50:28 发布

阅读量4.3k

点赞数 3

分类专栏：图像处理文章标签：去雨图像处理

本文链接：https://blog.csdn.net/wang_chaochen/article/details/103333273

版权

图像处理专栏收录该内容

38 篇文章 6 订阅

订阅专栏

写在最前面：
一个优秀的整理去雨文章的GitHub：戳我

较早以前的文章

这里大部分文章是传统方法或者视频去雨。

1.Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition (2012 TIP)
基于图像分解的自动单幅图像雨纹去除

1.文章做出了哪些成果？
由于单幅图像去雨不像视频去雨那样可以利用图像之间的时间信息，问题具有一定的挑战性。
本文主要提出了一种基于单幅图像的去雨框架，将去雨问题转化成基于形态成分分析(MCA)的图像分解问题。
首先是使用双边滤波器将图像分解成高频以及低频成分，再通过字典学习和稀疏编码将高频成分分解成为“雨成分”和“无雨成分”，从图像中删除雨成分，并保留大部分原始图像细节。

2.前人成果有什么？改变了什么？改进的地方是什么？
在之前的研究工作中，都是对视频进行处理，其中包括对雨纹的检测和去除以及在挡风玻璃等场景通过几何光等方式对雨点的检测。人们的一些改进是通过选择相机的参数、曝光时间、景深进行，或是通过时间、色彩特性的去除雨纹。
工作将基于多个连续帧时间相关性的视频去雨转移到单一图像上来，以及使用SIFT、SURF、HOG等特征提取算子对特征进行了提取。

本文的创新之处：
(1)是最早实现雨条纹去除的方法之一，同时在单单幅图像中保留几何细节，不需要连续图像之间的时间或运动信息;
(2)我们提出了首个基于MCA的自动图像分解框架，用于去除雨纹;
(3)字典从图像中分解雨纹的学习是完全自动化和独立的，在字典学习阶段不需要额外的训练样本。

3.框架

在这里插入图片描述

传统方法完成去雨处理。
如图，输入一幅雨图，通过一个平滑滤波器分离成高频成分和低频成分，然后对高频成分也就是原始图像中的雨纹信息以及背景纹理信息进行处理，进行patch提取以及字典学习，再进行字典的划分，基于稀疏编码图像分解得到雨成分和无雨成分，将处理得到的无雨成分与之前的低频成分进行加和，得到去雨之后的结果图像。

2.Restoring An Image Taken Through a Window Covered with Dirt or Rain (2013 ICCV)
从布满灰尘或雨水的窗户拍摄图像的复原

1.文章想要表达什么？做出了什么成果？

本文提出了一个拍摄后的图像处理解决方案，可以去除单幅图像中局部的雨和污垢。
我们收集了一个干净/损坏图像对的数据集，用于训练一种专门形式的卷积神经网络，网络学习了如何将损坏的图像映射到干净的图像并能隐式地捕捉污垢和水滴在自然图像中的特征外观。
同时，还进行了室外条件下的灰尘及雨去除的演示。

2.前人成果有什么？改变了什么？改进的地方是什么？

对于从窗户中拍取到的包含有灰尘或雨水的图片，从图像中去除遮挡物的经典方法是在捕获时将其散焦到不可见的程度。这就需要把相机对着放玻璃和使用大口径产生小景深。然而，在实际操作中，很难将摄像头移动到足够近的距离，而且在智能手机摄像头或网络摄像头上可能无法实现光圈控制。同时，许多用智能手机相机透过肮脏或下雨的玻璃拍摄的照片仍有明显的人为痕迹。
在这篇论文中，我们将拍摄后的图像进行恢复，将污物或雨水作为图像噪声的一种结构化形式。我们的方法只依赖于人工制品在空间上的紧凑性，这样就得到了雨/土的焦点的辅助——因此，拍摄时不需要靠近窗户。

在我们的系统中，输入内核的支持是p1 = 16，输出支持是pL = 8。我们使用两个隐藏层（L = 3)，每个有512个单位。如前所述，中间层内核支持p2 = 1。因此，W1应用大小为16×16×3的512粒，W2应用大小为512粒
1×1×512,W3采用3粒大小为8×8×512的核。

讲了一大堆，其实就是构造了一个三层卷积网络来模拟雨条纹。由于不能很好地模拟复杂的雨带分布，该方法的性能相对较低。
古文读着真是头大。

3.Utilizing local phase information to remove rain from video. (2015 IJCV)
利用局部相位信息完成视频去雨

主要提出了一种较为新颖的框架用于检测和去除视频中的雨纹。

该框架的第一部分是基于相位一致性特征的雨纹检测技术。
利用特征在帧间的变化来估计候选雨像素。为了减少由于全局运动而产生的候选帧数目，采用相位相关的方法对帧进行配准。
该框架的第二部分是一种新的重建技术，它利用了来自三个不同来源的信息，即雨影响像素的强度、空间邻域和时间邻域。在最小化帧间配准误差的基础上，对雨影响像素的实际强度进行了优化估计。
采用局部相位信息的光流技术进行配准，框架的这部分建模使得局部运动的存在不会扭曲重建视频的特征。并对各种复杂程度不同的视频进行了定量和定性的评估。通过计算重构视频单个帧的无参考图像质量测度，定量验证了算法的有效性。
在这里插入图片描述

提出了一种改进的带全局运动补偿的基于相位一致性的雨纹检测算法，分别整合进时间及空间补偿。
这篇文章主要是利用局部相位信息对视频中的雨纹进行去除，也是传统方法。

4.Video Deraining and Desnowing Using Temporal Correlation and Low-Rank Matrix Completion (2015 TIP)
使用时间相关性和低秩矩阵补全的视频去雨去雪

本文主要提出了一种基于低秩矩阵补全的发掘视频序列时间相关性的去雨算法。该算法通过对前一帧和下一帧进行变形，并与当前帧进行比较，得到初始雨图。然后根据稀疏表示和分类去除异常点，对初始雨图进行细化。最后，利用基于EM的低秩矩阵补全算法对多雨像素进行补全，完成去雨处理。
在这里插入图片描述

5.Discriminative sparse coding: Removing rain from a single image via discriminative sparse coding (2015 ICCV)
基于判别稀疏编码的单幅图像去雨

本质上本文也是一种传统方法下的去雨，主要是使用了字典学习以及稀疏编码分理出雨层。
文章提出了一种有效的单幅图像去雨算法，从雨图中分离出雨层和去雨的图像层。基于含雨图像的非线性生成模型，即屏幕混合模型，提出了一种基于字典学习的单幅图像去雨算法。其基本思想是在具有强互斥性的学习字典上，用非常高的识别码稀疏逼近两层的patch。这种判别稀疏码能将两层结构从非线性复合结构中准确分离出来。

主要用到两种算法：
字典学习K-SVD：K-SVD是一种经典的字典训练算法，依据误差最小原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解。
稀疏编码OMP：正交匹配追踪算法，以贪婪迭代的方法选择D的列，使得在每次迭代的过程中所选择的列与当前冗余向量最大程度的相关，从原始信号向量中减去相关部分并反复迭代，只到迭代次数达到稀疏度K，停止迭代。

环境：MATLAB 2014a
数据集：合成数据集及真实世界
从UCID数据集中随机选取的200多幅室外图像添加雨效应，合成测试用的雨图像。雨效应通过加性复合模型或者屏幕混合模型生成。角度为从70◦到110◦

创新之处：
1、考虑了非线性屏幕混合模型建模的雨图像
2、通过学习具有互斥性的字典，利用具有高识别率的稀疏编码，可以准确地分离出被剥离的图像层和雨层。
3、开始使用PSNR和SSIM作为评价指标。

存在问题：
1、由于图像层的低通频率分量与雨层的低通频率分量之间的模糊性，在包含雨条纹的区域周围存在一些伪影。该方法不能完全解决低通信道中的模糊问题。
2、当输入图像具有许多与雨滴相似的结构时，所提出的方法可能不能很好地工作;
3、所提出的方法不适用于放大雨滴图像，如雨滴附着在玻璃上。

6.Adherent raindrop modeling, detection and removal in video (2016 TPAMI)
视频中附着雨滴的建模、检测及去除

文章介绍了一种自动检测和去除附着雨滴的方法。其核心思想是利用雨滴的局部时域空间的导数。
雨滴像素的运动比非雨滴像素慢，雨滴像素强度的时间变化比非雨滴像素小。
我们去除雨滴的重要思想是利用连续几帧中检测到的线索和强度变化来解决混合函数，并对无法恢复的部分采用视频补全技术。
首先利用物理定律对附着的雨滴进行建模，并结合输入视频的运动和强度时间导数来检测雨滴。在检测到雨滴后，根据雨滴部分区域完全遮挡，部分区域仅部分遮挡的分析，将其去除并恢复图像。对于部分遮挡区域，我们通过提取尽可能多的场景信息进行恢复，即利用时间强度导数对被检测到的部分遮挡区域求解混合函数。对于完全遮挡的区域，我们使用视频补全技术进行恢复。

文章的创新之处：
1、利用导数性质涉及较少参数对附着雨滴进行模型和分析。
2、提出了一种基于运动和强度变化的像素检测方法。
3、利用部分被遮挡区域的混合函数提出了一种相对快速的附着雨滴去除方法。

7.Layer prior: Rain streak removal using layer priors (2016 CVPR, 2017 TIP)
利用层先验的知识实现

文章主要提出了一种对背景层和雨纹层都施加先验的方法。这些先验是基于高斯混合模型学习小块，可以适应各种背景外观以及雨纹的外观。为了进一步分离背景残基，提高分解质量，还引入了结构残基回收步骤。

前人工作：
把雨图描述成把一个雨纹层叠加在一个包含真实场景内容的背景层上，去雨也就是实现层分解问题。
目前的解决方法有：稀疏编码字典学习、低秩矩阵
存在问题：虽然会提高整体的可视性，但往往会在背景图像中留下太多雨纹或者背景图像过于平滑丢失细节

创新之处：
1、对背景和雨层都施加了约束。这些约束是简单高斯混合模型(GMMs)从图像块中学习得到的。
2、GMM先验对分解框架的有用性，使我们可以不考虑雨条纹的方向、大小和尺度。
3、恢复结构背景残差：提出了一个背景结构恢复步骤（BSR），用于检索不正确分配的雨层背景细节。使雨条纹层更加清洁，并进一步提高分离质量。

对比方法：
GF：a generic edge-aware smoothing filter, the guided filter
SR：the sparse representation-based dictionary learning method
LRA：the low-rank appearance method
DSC：and the discriminative sparse coding approach

数据集：来自 SR 方法数据集
使用 Grag 和Shree提出的真实感绘制技术合成了一个包含12幅图像的新数据集，背景图像来自BSD300数据集。