Single image rain and snow removal via guided L0 smoothing filter

Abstract

• 通过设计导引L0平滑滤波器，提出了一种改进的单幅图像雨雪去除方法。设计的滤波器灵感来自于之前的L0梯度最小化。

Introduction

• 现有的雨雪去除方法可以分为两种情况：一种是用于视频，另一种是用于单幅图像。在视频的情况下，Gary和Nayar开发了一个捕获雨水动力学的相关模型和一个基于物理的运动模糊模型.
• 对于基于单图像的方法，Kang等人提出一种基于图像分解的降雨去除方法，通过字典学习和稀疏编码，可以去除单个图像的降雨分量。
• 许等人提出了一种利用导引滤波器去除雨雪的方法。
• 陈端宇等人提出一种基于稀疏编码的视觉深度引导彩色图像雨纹去除方法，去除雨痕和雪花后，图像中的物体清晰可见。
• 另一方面，单幅图像中的雨条纹或雪片也可以认为是图像噪声。一些常用的降噪方法可用于降雨或除雪。
• 双边滤波器是考虑距离像素及其方差的影响的保边缘平滑滤波器。非局部均值算法是一种流行的图像去噪方法，它基于图像中所有像素的非局部平均。
• 本文基于L0梯度极小化，设计了一种导引L0平滑滤波器。首先，采用传统的导引滤波器获得粗略但几乎无雨或无雪的导引图像。然后设计了导引L0平滑滤波器，用于去除雨雪干扰。

Background

• 
• 根据边缘像素与周围像素之间的关系，所有边缘可分为三类：阶梯边缘、脊边缘和谷边缘。
• 假设边缘的每个点都是相应窗口的中心。为了区分三种边缘，我们将计算和比较相应窗口中的均值和方差。即使窗口尺寸变大，阶梯边缘的平均值和方差几乎保持不变。但对于脊边缘和谷边缘，它们的均值和方差将随着窗口大小的增加而变化。具体地说，当脊边缘的窗口尺寸增大时，均值变小并接近其相邻像素，方差也变小并接近于零；而对于谷边缘，均值变大并接近相邻像素，并且方差也变小并接近于零。

The rain-free or snow-free guidance Image
Guided filter​​​​​​​

• 引导滤波器是一种边缘保持平滑滤波器，它在边缘附近工作良好。引导图像可以是观测图像本身或另一参考图像。此外，导引滤波器是一种快速且非近似的线性时间算法，其计算复杂度与滤波核大小无关。引导滤波器的输出图像公式如下：
• 

The low frequency part

• 使用导频滤波器后阶梯边缘的低频部分仍然是阶梯边缘，但其范围变小，这意味着使用导频滤波器后阶梯边缘变得更平滑。
• 如果较小尺寸的脊边缘不受其他边缘的影响，其方差接近0，则脊边缘将消失并趋向背景。属于大尺寸脊边缘，但很难使与背景相等，所以大尺寸脊边缘的低频部分会保持并变得平滑。
• 谷缘的低频部分值将变得大于输入。
• 传统的导引滤波器不能直接去除雪中的噪声，事实上，如果把输入图像作为导引图像，只能得到粗略的结果。因为输出中的边缘被输入图像修改以接近制导图像中的边缘，并且不再是输入图像中的原始边缘。在这种情况下，引导过滤器不能很好地工作。

​​​​​​​Guided L0 smoothing filter
L0 gradient minimization

• ​​​​​​​通过L0梯度最小化，可以直接优化L0范数，得到分段恒定的输出图像。在本文献中，给出以下最小化问题：
• 
• 

 Guided L0 smoothing filter

• 因此，本文提出了一种导引L0平滑滤波器。它利用了L0梯度最小的导向滤波器的特性。与原始的L0梯度最小化算法不同，增强后的图像边缘可以按照无雨/无雪的导引图像进行保留或平滑。具体地，如果制导图像的对应位置是大梯度量，则可以保留观测图像的边缘，并且如果对应位置是低梯度量，则可以平滑观测图像的边缘。
  
• 

Conclusions

• 本文提出了一种改进的雨雪去除方法。该方法设计了导引L0平滑滤波器。它是基于这样的事实，即小雨条或雪花比相邻的像素更亮。利用导引滤波器后，通过窗口中的均值和方差，可以区分三种边缘的低频部分。
• 因此，我们将观测图像和低频部分作为设计滤波器的输入，以获得粗略的结果。然后进一步通过对粗略结果与观测图像之间的最小化运算，得到最终的细化结果。结果表明，该方法在降雨除雪任务中比现有方法更有效。