论文阅读笔记——“Deep Learning on Image Denoising: An Overview”

本文仅供学习交流使用,错误欢迎指正


摘要

去噪CNN:加性白噪声、真实噪声、盲去噪和混合去噪(噪声、模糊、低分辨率)。作者首先对不同类型的去噪CNN进行分类,并分析了各种基于深度学习去噪方法的动机和原理。接着进行了SOTA方法在公共数据集上定性和定量的对比。最后指出了一些潜在的挑战和未来的研究方向。

1. 引言

本文的主要贡献可归纳如下:
1.概述说明了深度学习方法对图像降噪领域的影响。
2.概述总结了针对不同类型的噪声(即加性白噪声,盲噪声,真实噪声和混合噪声)的深度学习技术解决方案,并分析了这些方法在图像去噪中的动机和原理,其中盲噪声表示噪声类型不明。最后,我们通过定量和定性分析来评估这些方法的去噪性能。
3.概述指出了在使用图像去噪技术时进行深度学习的一些潜在挑战和研究方向。

综述的大纲如下:
在这里插入图片描述


2. 深度学习图像去噪的基本框架

此章作者主要介绍了机器学习、神经网络和CNN的基本知识,这里略



3. 图像去噪中的深度学习技术

3.1. 加性白噪声图像去噪(additive noisy-image denoising)

由于缺乏真实噪声图像,训练去噪模型时常使用加性白噪声图片(additive white noisy images, AWNIs)。加性白噪声包括高斯泊松椒盐乘性噪声。AWNI的深度学习去噪技术包括:

(1)基于CNN/NN
(2)结合CNN/NN和common feature提取
(3)结合CNN/NN和优化方法

3.1.1. 基于CNN/NN的AWNI去噪

作者总结了用于AWNI去噪的CNNs
在这里插入图片描述
网络结构的设计对于图像去噪来说很重要,改变网络结构主要包含以下方法:
(1)融合CNN的多个输入特征
   ·噪声图片的不同部分作为不同网络的输入
   ·噪声图片的不同视角作为输入,比如多尺度
   ·CNN的不同通道作为输入
(2)改变损失函数
   ·根据自然图像的特点设计损失函数以提取更鲁棒的特征,比如联合欧几里得损失和感知损失
(3)增加CNN的深度和宽度
   ·通过增加网络的深度和宽度以提高感受野
(4)给CNN增加辅助插件
   ·使用激活函数、膨胀卷积、全卷积层和池化操作等增强CNN的表达能力
(5)在CNN中引入skip connections或cascade操作
   ·为CNN的深层提供补充信息

3.1.2. 结合CNN/NN和common feature提取的AWNI去噪

在图像处理中,用来表征整个图片的特征对机器学习十分重要。但是由于深度学习是一个黑盒,网络不会允许特征的选择,因此不能保证所提取的特征是最鲁棒的。出于这个动机,研究者将common feature(笔者理解为传统方法中常涉及到的有特定物理意义的特征)提取方法嵌入到CNN中来实现图像去噪。这样做主要是针对5种情况:
(1)弱边缘信息噪声图像
   ·结合变换域的CNN(不能有效去除噪声),如小波变换+U-net。
(2)非线性噪声图像
   ·采用核方法的CNN(很有用)。主要步骤为首先使用CNN提取特征,接着利用核方法将非线性特征线性化,最后利用残差学习构造潜在的干净图像。
(3)高维噪声图像
   ·结合CNN和降维方法,如使用带主成分分析(PCA)的CNN进行图像去噪。主要步骤为首先使用卷积提取特征,接着利用PCA减小特征的维度,最后根据降维的特征重构干净的图像。
(4)非显著噪声图像
   ·信号处理可以指导CNN提取显著特征,skip connection是一种典型的信号处理操作。
(5)昂贵计算代价
   ·考虑像素间关系性质的CNN非常有效。如非局部自相似性(non-local self-similarity,NSS)用来过滤噪声时,给定噪声图像的相似性质可以加速特征的提取并减少计算代价。

作者将结合CNN/NN和common feature提取的AWNI去噪方法整理在下表中
在这里插入图片描述

3.1.3. 结合CNN/NN和优化方法的AWNI去噪

机器学习使用(基于模型的)优化方法(笔者注:小波变换、卡尔曼滤波、中值滤波、均值滤波等)和判别式学习方法(训练成对的图像)来处理图像。尽管优化方法在不同的low-level vision tasks(笔者注:低级视觉任务包括去噪、超分、去雾和去模糊等)有很好的表现,但是它们需要手动设置参数,这很耗时。判别式学习方法在图像修复中有较快的速度,但是它们在low-level vision tasks中不够灵活。为了在效率和灵活性之间达到平衡,一种基于优化的判别式学习方法被提出以应用于去噪等图像处理中。通过在损失中添加正则项使CNN携带先验知识是一种常见方法,可以分为两类:
(1)提高去噪速度
   ·使用CNN的优化方法一种有效工具,能快速找到图像去噪的最佳策略
   ·基于经验(experience-based)的贪婪算法和CNN的迁移学习策略可以加速遗传算法以获得干净图像
   ·将噪声图像和噪声水平映射作为CNN的输入,可以提高预测噪声的速度
(2)提高去噪性能
   ·结合CNN和优化方法可以使得噪声图像变得平滑

作者将结合CNN/NN和优化方法的AWNI去噪方法整理在下表中
在这里插入图片描述


3.2. 真实噪声图像去噪(real noisy image denoising)

对于真实图像去噪的深度学习技术主要有两种类型:单个端到端CNN和结合CNN与先验知识两种方法。

3.2.1. 单个端到端CNN

改变网络的结构是一种有效方法。
(1)多尺度知识是有效的
(2)skip connection: 克服模糊和伪影
(3)dual CNN, batch renormalization, 残差, 空洞卷积: 解决资源约束问题
(4)recurrent connections: 提取更详细信息
(5)channel attention, 残差: 利用低频特征,提取更多潜在特征
(6)嵌入到CNN的无监督学习方法: 解决噪声图像不成对的问题
(7)self-consistent GAN: 一个CNN估计噪声,另一个CNN去除噪声
(8)Noise2Inverse: 根据周围的噪声像素使用CNN预测噪声像素的值
(9)attention融入3D自监督网络: 提高从医学噪声图像中去除噪声的效率

作者将基于单个端到端CNN的真实图像去噪方法整理在下表
在这里插入图片描述

3.2.1. 结合CNN与先验知识

(1)half quadratic splitting (HQS), CNN: 估计噪声
(2)threephase denoising: 合成噪声、估计噪声、去除噪声
(3)结合CNN和先验知识的半监督方法: 解决噪声图像不成对问题
(4)有通道先验知识的CNN: 对弱光图像增强有效

作者将结合CNN与先验知识的真实图像去噪方法整理在下表
在这里插入图片描述


3.3. 盲去噪(blind denoising)

在现实世界中,图像容易损坏,噪声也很复杂,因此盲去噪技术很重要。
(1)FFDNet: 输入噪声水平和噪声,训练针对未知噪声的去噪网络
(2)image device mechanism: 使用soft shrinkage调节噪声等级
(3)使用已知的噪声水平训练去噪器,然后利用该去噪器估计噪声水平
(4)CNN, 残差: 解决随机噪声衰减的问题
(5)使用自编码器解决未知噪声
(6)cascaded CNN: 去除混合噪声

作者将结合CNN与先验知识的真实图像去噪方法整理在下表
在这里插入图片描述

3.3. 混合噪声图像去噪(hybrid noisy image denoising)

现实世界中拍摄的图像受到复杂环境的影响
(1)CNN, warped guidance: 解决噪声、模糊和JPEG压缩损伤
(2)迭代算法, 残差CNN: 图像去马赛克和去噪
(3)一个模型处理多种退化,如噪声、模糊核和低分辨率图片
(4)cascaded networks, 即插即用: 去模糊、超分辨率

作者将混合噪声图像去噪方法整理在下表

在这里插入图片描述
此外,burst denoising和video denoising相关方法作者整理如下
在这里插入图片描述
在这里插入图片描述


4. 实验结果

4.1. 数据集

数据集分为两类:灰度噪声图像和彩色噪声图像。

4.1.1. 训练集

(1)灰度噪声图像数据集:
用于训练高斯去噪和盲去噪,包括BSD400 dataset和Waterloo Exploration Database
   ·BSD400由400张png格式的图片组成,训练时裁剪成180*180的尺寸
   ·Waterloo Exploration由4744张png格式的自然场景图片组成
(2)彩色噪声图像数据集:
包括BSD432,Waterloo Exploration Database和polyU-Real-World-Noisy-Images datasets。
   ·polyU-Real-World-Noisy-Images datasets由100张2784*1856尺寸的真实噪声图像组成(它们由 Nikon D800, Canon 5D Mark II, Sony A7 II, Canon 80D and Canon 600D获得)

4.1.2. 测试集

(1)灰度噪声图像数据集:
用于测试高斯去噪和盲去噪,包括Set12BSD68
   ·Set12包含12个场景
   ·BSD68包含68张自然图像
(2)彩色噪声图像数据集:
包括CBSD68, Kodak24, McMaster, cc, DND, NC12, SIDD和Nam
   ·Kodak24和McMaster分别包含24张和18张彩色噪声图像
   ·cc包含15张不同ISO(1600、3200和6400)的真实噪声图像
   ·DND包含50张真实噪声图像,干净图像由低ISO捕获
   ·NC12包含12张噪声图像,没有干净的ground truth
   ·SIDD包含来自智能手机的真实噪声图像,有320对噪声-ground truth图像
   ·Nam包含11个场景,以JPEG格式储存

4.2. 实验结果

为了验证在第3节中提到的某些方法的去噪性能,作者在Set12,BSD68 CBSD68,Kodak24,McMaster,DND,SIDD,Nam,cc和NC12数据集上进行了定量(PSNR和runtime)和定性评估的实验。

4.2.1. 加性白噪声图像去噪(additive noisy-image denoising)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2.1. 真实噪声图像去噪(real noisy image denoising)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2.1. 盲去噪(blind denoising)

在这里插入图片描述
在这里插入图片描述

4.2.1. 混合噪声图像去噪(hybrid noisy image denoising)

在这里插入图片描述


5. 讨论

基于深度学习的图像去噪主要在改善去噪性能、提高去噪效率和完成复杂的去噪任务方面有效,但是仍然存在一些挑战。

(1)改善去噪性能的解决方案包括:
   ·扩大感受可以捕获更多上下文信息。空洞卷积不仅可以提高性能和效率,还能挖掘更多边缘信息
   ·使用先验知识有助于获得更准确的特征。通过设计损失函数实现
   ·结合全局和局部信息可以更好滤除噪声。残差和递归操作可以解决这个问题
   ·结合全局和局部信息可以更好滤除噪声。残差和递归操作可以解决这个问题
   ·信号处理方法可以用于抑制噪声。将信号处理方法融入CNN,如U-Net结合小波变换
   ·数据增强(如水平翻转、垂直翻转和色彩抖动等)可以增强模型表达能力。使用GAN构造虚拟噪声图像对于图像去噪也很有用
   ·迁移学习(transfer learning)、图(graph)方法和神经结构搜索(NAS)可以获得较好的去噪效果
   ·改进硬件或摄像机的机制有助于减小噪声的影响

(2)提高去噪效率的解决方案包括:
   ·压缩网络在提高去噪效率上取得了巨大成功
   ·减少网络的深度或宽度可以降低去噪的复杂性
   ·使用小卷积核和分组卷积可以减少参数数量,加快训练速度
   ·融合降维方法(如PCA)可以提高去噪效率

(3)解决复杂去噪任务的解决方案包括:
   ·step-by-step的处理是一种常用的方法,如第一步恢复高分辨率图像,第二步滤除高分辨率图像的噪声。
   ·融入CNN的自监督学习是应对真实噪声和盲去噪的不错选择

(3)存在的挑战:
   ·更深的网络需要更多的内存资源
   ·更深的网络对于真实噪声图像、不成对噪声图像和多重退化任务来说并不稳定
   ·真实的噪声图像难以获取,导致训练样本不足
   ·深度CNN难以解决无监督去噪任务
   ·对于图像去噪效果,需要更准确的评价指标(PSNR过度平滑,SSIM取决于亮度、对比度和结构,它们无法准确评估图像的感知质量)


6. 结论

本文中,作者比较、研究和总结了针对图像去噪的深层网络。首先展示了基于深度学习的图像去噪技术的基本框架。然后介绍了去噪任务(加性白噪声图像,盲去噪,真实噪声图像和混合噪声图像)的深度学习技术。接着,对于每类去噪任务,分析了各个去噪网络的动机和理论。随后对比了在基准数据集上的去噪结果、性能和视觉效果,并对具有不同类型噪声的不同去噪方法进行交叉比较。最后提出了一些需要进一步研究的潜在领域,并讨论了深度学习技术在图像去噪领域的挑战。在过去的几年中,高斯噪声图像去噪技术取得巨大成功,特别是在高斯噪声规则的情况下。为了更好地抑制噪声以捕获高质量图像,改进硬件设备非常重要。而且,所获得的图像可能模糊、低分辨率并且有损坏。因此,确定如何有效地从叠加噪声的图像中恢复潜在的干净图像至关重要。此外,使用深度学习来学习特征需要ground truth,但是所获得的真实噪声图像却没有ground truth。这些是研究人员和学者必须解决的紧迫挑战。

  • 4
    点赞
  • 27
    收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CUC_polar1s

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值