去雨方向工作概述（二）

这里是2017年一些顶会或顶刊上的一些去雨方向上的文章，做一个简略的记录。

这篇文章记录2017年的一些视频去雨或传统方法。

2017

1.Error-optimized sparse representation for single image rain removal (2017 TIE)
基于误差优化稀疏表示的单幅图像去雨

文章主要提出了一种基于误差优化稀疏表示模型（EOSR）的雨纹去除方法，也是一种传统方法。
该EOSR模型从稀疏表示模型出发，考虑到动态的块误差约束，可以计算出每个图像块，然后利用非优势排序的遗传算法对每个patch进行优化，实现单幅图像雨斑去除的多目标追求。与以往基于字典分割的雨纹去除方法相比，该模型在优化了 patch 误差约束的基础上灵活地表示每个图像patch。
EOSR模型的稀疏图像表示和误差优化稀疏重建：
1、由稀疏表示原理，数据保真项的patch误差较大，因此图像表示更为平滑。该平滑表示使得在稀疏图像表示阶段，可以从测量的雨图像中去除雨条纹，生成一个潜在的无雨图像，使用动态patch误差约束。
2、基于上述特点，在误差优化稀疏重建阶段，采用非优势排序的遗传算法(NSGA-II)对无雨图像进行多目标优化，得到纹理更明显、雨效果更小的无雨图像重建。

之前的方法：稀疏编码、字典学习、低秩矩阵、层先验的方法
创新之处：
1、提出了一种基于误差优化的稀疏表示模型。
2、可用于基于期望目标的图像重建，从而实现多目标追踪的稀疏表示计算。
3、能够从单一图像中去除多雨效应。
模型框架：

误差优化稀疏重建阶段使用的非优势排序遗传(NSGA-II)算法流程图：

实验数据：八张256x256的灰度图片
对比对象：字典学习的两种方法
对比指标：MSE、PSNR、SSIM、VIF视觉信息保真度

2.Hierarchical: A Hierarchical Approach for Rain or Snow Removing in a Single Color Image (2017 TIP)
基于分层方法的单幅彩色图像雨雪去除
传统方法。
文章主要使用图像分解和字典学习设计了一个三层的分层方案，用于提取高频成分中的图像细节。
首先使用雨雪检测和指导滤波器的组合将输入图片分解为低频和高频成分，低频成分几乎没有雨雪，高频成分则包含了雨雪以及图像的细节。
第一层：训练得到一个过完备的字典进行三次分类，利用雨雪的一些共同特征将高频分为雨雪和非雨雪成分
第二层：对第一层得到的雨雪分量进行另一种雨雪检测和指导滤波的组合。
第三层：计算不同颜色通道的方差灵敏度(SVCC)，提高雨雪去除图像的视觉质量。

文章主要内容：
1、概述了雨和雪的几个共同特征，并定义了两个度量，即跨颜色通道的灵敏度(SVCC)和图像patch的主方向(PDIP)。
2、利用雨雪检测与指导滤波器(低通滤波器)相结合的方法，得到了一个几乎无雨无雪的低频部分，而相应的高频部分则与低频部分形成互补。
3、设计了一种从高频部分提取图像细节的三层结构。具体来说，第一层是基于训练字典(过完备)的3次分类，第二层是另一种雨雪检测与引导滤波的组合，第三层是利用SVCC增强雨雪去除图像的视觉质量。

雨雪的三个共同特征：
1、由于雨雪反射强烈，高强度值往往出现在受雨雪影响的像素处。因此，图像中雨雪像素的值通常大于相邻的非雨雪像素。
2、边缘跳跃通常存在于雨带或雪花与其水平邻域之间的自然图像中。因此，一个包含雨雪的图像patch通常会产生较大的平均绝对水平梯度。
3、由具体实例，高频部分的雨雪像素为灰色或浅白色，高频部分的雨雪像素的三个颜色通道的值几乎相同，雨雪像素的绝大多数颜色方差确实接近于零，而所选的非雨雪像素的方差则是跨越较大的像素范围。

颜色通道方差灵敏度(SVCC，Sensitivity of Variance of Color Channels ) ：
由第三条特性，定义一个颜色通道来区分动态成分（雨雪）和其他成分的差异性。

图像块的主成分方向 ( PDIP，Principal Direction of an Image Patch ) ：
雨纹通常有一致的下落方向。可用直方图定向梯度（HOG）分离雨纹。
使用K-means方法，我们可以从一个图像中对雨或雪进行分类。
将具有最大值的HOG bin对应的角度定义为图像patch (PDIP)的主方向，从而在我们的工作中识别雨雪。

算法框架：

总框架和step1：

step2：

字典原子和稀疏重建的分类：

3.Matrix decomposition: Video Desnowing and Deraining Based on Matrix Decomposition (2017 CVPR)
基于矩阵分解的视频去雪去雨

本文主要提出了一种基于矩阵分解的视频去雪去雨模型。
强降雪降雨及动态场景难以解决的原因：
1、现有方法中作的假设是所有的雪花和雨纹是稀疏的。
2、现有方法不能区分移动的物体和雪花雨纹。
雨纹划分+MRFs+组稀疏项
文章主要内容：

1. 对于暴雨场景，雨条纹具有复杂的光度和物理性质，单一的模型很难对所有雨条纹进行建模。因此，我们将降雨条纹分为稀疏条纹和密集条纹，并在矩阵分解框架中分别对它们进行建模。这个过程使我们的模型能够有效地应对暴雨。
2. 在雨带的误导下，运动物体在雨景中很难被检测和过滤。基于背景波动和流量信息，我们将稀疏雨条纹和运动目标的检测方法表示为多标签MRFs。
3. 由于检测错误或滤波不当，现有的方法往往会造成运动物体的变形和伪影。为了避免这个问题，我们设计了一个组稀疏项来过滤移动对象中的雨像素。

一幅包含雨雪的图片构成：

4.Joint Convolutional Analysis and Synthesis Sparse Representation (2017 ICCV)
联合卷积分析和合成稀疏表示的单幅图像层分离

文章主要利用ASR和SSR的互补表示机制提出了一种联合卷积分析和合成(JCAS)稀疏表示模型。
分析稀疏表示(ASR)和合成稀疏表示(SSR)是两种典型的基于稀疏的图像建模方法。
图像在SSR中主要由非零系数来描述，而在ASR中主要由零指数来描述，这两种模型在对图像不同分量的逼近上有优势。
采用卷积实现来更有效地利用图像的全局信息。
在JCAS中，单个图像被分解成两层，一层由ASR近似表示图像的大尺度结构，另一层由SSR表示图像的细尺度纹理。在JCAS中自适应学习合成字典来描述不同的单幅图像层分离任务的纹理模式。
ASR和SSR的互补特性使得所提出的JCAS能够有效地提取图像纹理层，而不需要对背景层进行过度平滑，可以灵活地对不同类型的图像结构进行建模。

启发点：
Starck等人利用一个总变分项和一个基于合成的稀疏重建项来进行卡通纹理分解。
创新点：
JCAS模型在SSR部分采用了卷积实现。卷积实现避免了传统SSR方法中的patch分割问题，并使所提出的方法仅从输入图像本身学习几个原子来对复杂(但高度重复的)纹理建模。

文章主要内容：
首先，我们分析了ASR和SSR模型的互补性质，并结合ASR和SSR将单个图像分解成具有明确物理意义的两层。JCAS模型有望为许多涉及图像层分离的应用提供基于稀疏的新方法的设计。
其次，在没有外部训练数据的情况下，所提出的JCAS模型在去除雨条纹、高动态范围图像色调映射和对比度增强等不同任务上都取得了较好的效果。JCAS生成的结果不仅具有较高的定量指标，而且具有较好的视觉质量。

对比了五种传统方法，数据选用了之前论文的十四张图片。

5.Joint Bi-layer Optimization (2017 ICCV)
基于联合双层优化的单幅图像雨纹去除

文章主要提出了一种基于双层联合优化的单幅图像雨纹去除方法。
首先分析含雨图像中的局部梯度统计，自动定位识别以雨纹为主的图像区域。
在这些区域进行主导雨纹方向的估计，并提取除了一组雨纹主导的patch。
然后在背景层B上定义两个先验，分别是基于集中式稀疏表示和基于雨的方向的估计。
第三个先验定义在雨纹层R上，基于提取到的雨的patches及patches 的相似性。

之前的方法：
基于视频的方法利用帧间丰富的时间信息来定位和去除雨条纹
单幅图像的方法要使用图像先验来恢复底层背景场景，如基于字典的稀疏先验、低秩先验，非局部自相似先验、，基于GMM的层先验。

创新之处：
1、首先，介绍了一种从输入图像中定位雨主导区域并估计雨条纹主导方向的自动方法。我们观察到雨条纹通常落在一个狭窄的方向带内，即使是大雨，我们分析了I中图像块上的梯度向量统计，识别出以雨条纹为主的场景区域，从这些区域，我们可以估计I中的降雨方向，提取雨斑来模拟降雨模式。
2、提出了一种联合双层优化模型，通过以下三项先验迭代分离雨®和背景(B)：
(1):介绍了一个集中的稀疏表示(CSR)。在保留背景细节的同时，改善去除雨纹的性能。该算法融合了局部和非局部稀疏约束，通过构造具有窗口固有变化度量的制导图像来适应雨降过程。而以前的方法只使用局部稀疏性或非局部先验。
(2):通过考虑像素梯度与降雨方向的角度偏差，构造了降雨方向先验。该先验建立在雨方向信息的基础上，通过检测以雨为主的场景区域自动提取雨的方向信息。以前的工作通过跟踪连续视频帧中雨条纹的移动来估计雨的方向，因此它们不能用于单图像雨条纹的去除。据我们所知，我们是第一个利用降雨方向先验进行单幅图像雨条纹去除的工作。
(3):特别为R层引入了一层雨层，通过使用我们从雨占主导的区域自动提取的雨斑来平滑R中非雨条纹的背景细节。
3、采用乘法器(ADMM)和迭代重权最小二乘法(IRLS)有效地解决了优化问题。

提出了一种新的单幅图像雨条纹去除优化方法，该方法采用了几个新的组成部分:雨条纹方向的自动估计、新的模型正则化项和从背景中分离出的雨条纹，以及一种新的外观模型，它将非雨条纹的细节从雨层推回背景。

对比方法：
判别稀疏编码(DSC,discriminative sparse coding)、基于GMM的层先验（GMMLP， GMM-based layer prior）、联合雨的检测和去除（JORDER， joint rain detection and removal）、深度细节网络（DDN，deep detail network）

数据集：
合成数据集(D1)，随机选取60幅图像BSDS 500数据集，对不同雨条纹方向的图像合成雨(使用Photoshop)，并应用不同的方法去除图像中的雨。
合成数据集(D2)是通过从BSDS 500数据集中随机选择30张其他图像，故意用密集的雨来构建的。

6.Tensor based method (FastDeRain) (2017 CVPR)
一种区别使用固有先验的基于向量的视频雨纹去除新方法

本文主要是对雨纹和干净视频的本质区别特征进行了充分研究，提出了一种新的基于向量的视频雨纹去除方法，不需要雨的检测，也不需要字典学习。其中，雨纹方向沿雨滴方向稀疏光滑，而清晰视频沿雨的垂直方向光滑，沿时间方向具有全局和局部相关。我们使用l1范数来增强底层雨条纹的稀疏性，使用两个单向全变差(TV)正则化器来保证不同的判别平滑性，使用一个向量核范数和一个时间方向差算子来描述干净视频随时间的独家相关性。提出了一种基于变方向乘子法（ADMM）的简洁张量凸模型。

引入单向TV来利用空间先验。在时间上，无雨区与雨带、雨区相比，保持着较大的差异。干净的图像与雨区雨纹相比，在时间轴上相关性更强。因此，一个向量核范数和一个时间方向差分算子可以同时增强底层干净视频在时间方向上的全局和局部相关性。最后，我们考虑了雨带的稀疏性，并利用l1范数来保证其稀疏性。

算法伪代码：

4.5.6.7是论文中几个公式，后续看的话看论文。

对比方法：

分页符