2018 ECCV:RESCAN
本篇文章是2018年ECCV的一篇文章,也很出名,主要是提出了一种递归的SE上下文扩张网络来完成单幅图像的去雨。
(单栏排版属实很…)
RESCAN: REcurrent SE Context Aggregation Net
网络主要基于深度卷积和神经网络,同时上下文信息对于去雨来说也很重要
采用扩张卷积神经网络来获得更大的感受野,获取更多的上下文信息。
根据强度和透明度,通过SE模块为不同的雨纹层分配不同的α值。
并且,雨纹层会与其他层相互重叠,所以不能通过一个阶段来去除雨纹。本文将去雨过程分为多个阶段,然后通过一个递归神经网络来保存前一阶段的有用信息,使之有益于下一阶段的雨纹去除。每个阶段使用具有多个卷积层的上下文扩张网络,且每个通道对应一种雨纹。
扩张卷积指数增长-------->得到低深度的大感受野----------->获得更多的上下文信息
创新之处:
1、提出了一种逐阶段去除雨纹的统一的深度网络RESCAN。每个阶段使用上下文扩张网络来去除雨纹。SE块针对不同的雨纹层根据他们的属性设定不同的α值。
2、考虑了不同阶段之间的去雨的相关性。通过结合RNN结构和三种递归单元,得到前一阶段的去雨的有效信息,用于指导后一阶段的去雨。本网络适合用于去除大雨天气下复杂的雨纹。
前人工作:
1、传统方法:判别稀疏编码、低秩表示、高斯混合模型
2、现有方法存在的两个限制约束:
一方面,空间上下文信息对去雨比较有用,现有的大部分方法都是基于图像patch而忽略了大区域的上下文信息
另一方面,现有的方法都是单独地每个阶段去除雨纹,没有考虑不同阶段之间的相关性
3、 视频去雨方法:
Garg and Nayar 提出一种基于光学特性和时间动力学来描述雨纹的外观模型。
zhang 利用了视频中雨的时间和色彩特性
Bossu等人基于雨纹的方向直方图来检测雨
4、单幅图像去雨方法:
传统方法主要包括:字典学习、高斯混合模型、低秩表示等。
Kang 基于字典学习将雨图的高频成分分解为雨成分和无雨成分
Wang 定义了一个三层的层次结构
Luo 提出了一种基于图像块的判别稀疏编码框架
Gu 等人将分析稀疏表示(ASR)和合成稀疏表示(SSR)结合,解决了多种图像分解问题
而GMM是作为一种先验将雨图分解为背景层和雨纹层
Chang等人利用雨纹的低秩特性来完成分层