(方法三首页demo)
相关资源
论文:Restoring An Image Taken Through a Window Covered with Dirt or Rain
首页:https://cs.nyu.edu/~deigen/rain/
傅雪阳首页:https://xueyangfu.github.io/
厦门大学智能数据分析与处理实验室:https://xmu-smartdsp.github.io/
论文笔记
01. Restoring an image (ICCV 2013)
在我们拍摄照片的时候会遇到透过玻璃拍摄的场景,如窗户、车窗,或者透过玻璃自拍等,而玻璃上的污渍会影响照片的效果,这篇论文针对这类透过玻璃拍摄的照片,进行污迹或者雨渍的去除。
CNN结构同LeNet,函数表示:
表示 的RGB输入图像,激活函数使用tanh,第一个卷积层使用“valid”填充,卷积核大小为 (果然年代久远,还有偶数的大卷积核);最后一层使用“full”填充,卷积核大小为8;中间使用 的卷积,通道数为512,共两个中间层(L=3)。所以W1 : ,W2: ,W3: 。
损失函数采用输入标签和网络输出的MSE:
输入为 大小的图像块,输出大小为 ,做MSE时,和GT中间 对应像素相减。采用随机梯度下降(SGD)更新可训练参数:
为学习率,参数初始化使用均值为0,方差为0.001的正态分布,偏置b初始化为0,学习率衰减因子:0.001,不使用动量和权重正则化。
测试环境:Matlab + Nvidia GTX 580;耗时: 彩色图像60s, 彩色图像7s。
02. Clearing the Skies (TIP 2017)
论文主要借鉴上一篇文章的网络结构,设计了一个改进的单图像去雨CNN结构,主要改进点:
CNN映射有雨图和去雨图的细节层,而不是直接在原图建立映射关系。
未将网络结构复杂化,而是通过雨滴先验知识进行图像预处理,改变了优化的目标函数。
网络结构
CNN结构函数表示:
作者把雨滴视为图像高频部分,通过低通滤波(引导滤波、双边滤波或者滚动滤波)将有雨图I和其无雨图标签J分别分为基础层和细节层:
基础层为平滑后的图像,有: ,所以只需要建立两个细节层的映射关系即可,损失函数由原来预测图与标签图的MSE变为了:
训练时,参数设置同第一篇论文一致,输入 图像块,输出 大小图像。
图像增强处理
网络训练完成后,去雨结果图像可以直接通过以下运算得到:
但是在雨比较大的情况下,会出现雾的情况,影响视觉效果,所以对基础层和输出的细节层做了图像增强:
03. deep detail network (CVPR 2017)
论文在上一篇的基础上进行了进一步优化,设计了一个改进的单图像去雨CNN结构,主要改进点:
建立真实图像和雨图之间的负残差映射,再次缩小映射范围,优化映射空间。
使用残差结构,可以使用更深的网络建立映射关系,并通过先验知识,输入图像细节层。
CNN结构函数表示:
其中,
L为CNN总层数,*表示卷积操作,BN表示batch normalization, 表示激活函数ReLU,不使用池化操作。
利用引导滤波将雨迹图划分为细节层和基础层(同上一篇)。
损失函数:
参数设置:层数L=26,优化器:SGD,权重衰减因子 ,动量0.9,batch size:20,初始学习率:0.1,迭代100K/200K时除以10,共迭代210K次,卷积核大小为3,个数为16。
04. Residual-Guide Network (ACM MM 2018)
同样采用负残差映射的思想设计了一个CNN单图像去雨网络ResGuideNet,主要贡献点:
通过由浅入深的Block结构,获取由粗到细获取负残差输出。
通过联合损失优化每个Block输出,根据集成学习的思想融合所有负残差输出。
CNN结构函数形式:
特征复用 :通过密集连接复用每一个Block输出的负残差特征。循环计算:如结构图左下角左下角所示,为平衡模型参数和性能,每个Block内部的两个卷积层采用循环计算的策略加深Block深度,函数表示:
为了避免结构加深带来的梯度消失的问题,将Block第一个 Conv+LReLU的输出加到每个子循环中:
块间融合:如结构图右下角所示:通过集成学习的思想将不同Block的预测结果concatenate在一起,最后通过 卷积得到最后的结果。
损失函数:对于每一个Block,采用 +SSIM loss 损失函数:
M个Block和最后merge输出的总损失:
实验细节:环境:python + TensorFlow、NVIDIA GeForce GTX 1080(8GB),初始化:Xavier,优化器:RMSProp,初始学习率:0.001,batch size:16,迭代次数:50000,每层卷积为:16个 ,输出层卷积,3个 。
05. Lightweight Pyramid Networks (T-NNLS 2019)
为了使去雨网络更轻量化,使其适用于移动设备,作者提出了轻量级的金字塔去雨网络LPNet,参数量少于8K,主要贡献:
将传统的高斯-拉普拉斯金字塔运用到CNN中,使用一个参数量少的小网络可实现很好的结果。
结合多尺度、循环计算和残差学习技术,在大雨场景下,也能很好地实现单图像去雨。
CNN结构函数形式:
a、构建拉普拉斯金字塔
b、特征提取网络
c、循环模块
d、重建高斯金字塔
作者之前提出方法(方法二、方法三)通过引导滤波将图像分解成基础层和细节层,运用细节层训练可以有效减小优化空间,但是引导滤波针对雨量比较厚的图像达不到很好的细节提取效果。于是,作者使用拉普拉斯金字塔将图像分解为不同尺度的图像金字塔,并分别进行去雨处理。
损失函数 :实验细节:
5个尺度的拉普拉斯金字塔:[0.0625, 0.25, 0.375, 0.25, 0.0625]为构建高斯金字塔的固定平滑核。
所有子网络结构相同,卷积核个数不同, 卷积核大小为 3x3, 卷积核大小为1,每个子网络循环block次数T = 5,激活函数LReLUs,参数为: 0.2。
使用【2】生成的雨图,包含大雨图像和小雨图像,输入大小 图像块,Adam优化器,batch size为10,学习率:0.001,epoch为3。
(论文实验结果对比)
用code搞事情
上述论文代码均开源在作者首页,包括matlab或者python+TensorFlow实现。我们借鉴了方法三和论文【2】多任务的思想,参加了马上金融的图像污迹去除赛道,并获得了第一名的成绩。
(提出的人脸去污网络结构)
该模型训练过程中输入数据包括:网纹图像X,真实图像Y,mask图像M。对于真实图像输出分支,目标函数使用均方误差loss1;针对mask输出分支,我们使用交叉熵损失loss2。两者采用1:1的比例相加得到最后需要优化的损失函数loss,具体公式如式:
其中,N为训练图片数量,为卷积神经网络,为网络要学习的参数,除了两个分支上的权重不同以外,其余权重两个分支权重共享,表示为第i张图片的细节层,通过引导滤波所得。
模型的损失函数:
(人脸去污结果)
参考文献
【1】 Deep joint rain detection and removal from a single image
【2】 Multi-task ConvNet for blind face inpainting with application to face verification
长按二维码关注我们
有趣的灵魂在等你
留言请摁