目录
一、简介
本文通过研究前馈去噪卷积神经网络(DnCNNs)的构建向前迈进了一步,将非常深的架构、学习算法和正则化方法的进展纳入了图像去噪。具体来说残差学习和批处理归一化被用来加速训练过程并提高去噪性能。与现有的判别去噪模型通常在一定噪声水平下训练特定的加性高斯白噪声(AWGN)模型不同,我们的DnCNN模型能够处理未知噪声水平下的高斯去噪(即盲高斯去噪)。
二、结论
将批归一化和残差学习相结合,加快了训练过程,提高了去噪性能。与传统判别模型针对特定噪声水平训练特定模型不同,我们的单一DnCNN模型具有处理未知噪声水平下的盲高斯去噪的能力。此外,我们还证明了训练单个DnCNN模型处理三种通用图像去噪任务的可行性,包括未知噪声水平的高斯去噪、多个上尺度因子的单图像超分辨率去噪以及不同质量因子的JPEG图像去块。大量的实验结果表明,所提出的方法不仅在定量和定性上产生了良好的图像去噪性能,而且通过GPU实现具有良好的运行时间。
三、模型架构
具体模型
1)深度架构:给定深度为D的DnCNN,有三种类型的层,如图1所示,用三种不同的颜色表示。(i) Conv+ReLU:对于第一层,使用大小为3 ×3 ×c的64个过滤器生成64个特征
映射,然后使用校正线性单元(ReLU, max(0,·))进行非线性。这里c表示图像通道的数量,即c = 1用于灰度图像,c = 3用于彩色图像。(ii) Conv+BN+ReLU:对于第2层~ (D−1),使用64个大小为3 ×3 ×64的过滤器,并在卷积和ReLU之间添加批归一化[21]。(iii)Conv:对于最后一层,使用大小为3 ×3 ×64的c个滤波器重构输出。
相关指标
由上图可见,(1)残差学习受益于批处理归一化,红线和绿线的对比,有BN层批归一化为cnn提供了一些优点,比如缓解内部协变量移位问题,明显红线的效果更好 (2)批归一化受益于残差学习,红线和蓝线比较,没有残差学习批归一化甚至对收敛有一定的不利影响(蓝线)。通过残差学习,DnCNN通过隐层操作隐式去除潜在的干净图像。
运用延伸
本文的DnCNN可以运用到其他的任务要处理,包括包括盲高斯去噪、SISR和JPEG图像去块。在这些任务上也有较好的表现。
四、对论文思考
1.这项工作要解决的问题
这篇论文主要解决的是图像去噪问题,特别是针对高斯噪声的去噪任务。传统的去噪方法通常依赖于复杂的优化过程,计算效率较低,且通常需要为每个噪声水平训练特定的模型。本文提出了一种基于深度卷积神经网络(CNN)的去噪方法,旨在通过残差学习和批量归一化技术,提高去噪的性能和效率,并且能够处理未知噪声水平的盲高斯去噪问题。
2.相关工作的欠缺,为何无法改进
图像先验包括非局部自相似模型(NSS),稀疏模型,梯度模型,马尔可夫随机场模型( MRF)。尽管他们去噪质量很高,但绝大多数是基于图像先验的方法有以下两个缺点:1.测试阶段涉及复杂的优化问题,使得去噪过程非常耗时。2.模型通常是非凸的,并且涉及几个手动选择的参数
3.本文的创新点、使用的方法
本文并没有学习具有显式图像先验的判别模型,而是将图像去噪视为一个普通和判别学习问题,即通过CNN将噪声从噪声图像中分离出来。
1.残差学习:不同于直接预测干净的图片模型,本文的DnCNN通过预测噪声残差来进行去噪,简化了学习任务,是的网络更容易训练
2.批量归一化:通过一如批量归一化技术,加速了训练过程,并提高了去噪性能。
3.单一模型处理多种任务:本文提出的DnCNN模型不仅可以处理高斯去噪,还可以扩展到单图像超分辨率和JPEG去块等任务,且能够处理未知噪声水平的盲去噪问题。
4. 做了那些实验,选择了哪些指标,证明了什么
实验设置:使用了多个数据集进行训练和测试,包括BSD68数据集和12张常用测试图像。训练时使用了不同噪声水平的图像,测试时评估了模型在已知和未知噪声水平下的表现。
评价指标:主要使用了PSNR(峰值信噪比)和SSIM(结构相似性)作为评价指标。
实验结果:
DnCNN在已知噪声水平的高斯去噪任务中,表现优于现有的最先进方法(如BM3D、TNRD等)。
在盲高斯去噪任务中,DnCNN使用单一模型也能取得优于特定噪声水平模型的效果。
DnCNN在单图像超分辨率和JPEG去块任务中也表现出了优异的性能。
5.本文的欠缺
模型复杂度:虽然DnCNN在GPU上运行效率较高,但在CPU上的运行速度相对较慢,可能限制了其在资源受限设备上的应用。
泛化能力:尽管DnCNN在多个任务上表现良好,但其在处理非高斯噪声或其他复杂噪声类型时的表现尚未得到充分验证。
6.系列工作,相关工作前因后果
本文的工作是在深度学习技术快速发展的背景下提出的,特别是卷积神经网络在图像处理任务中的成功应用。传统的去噪方法依赖于复杂的优化和手工设计的参数,而本文通过引入残差学习和批量归一化技术,简化了模型训练过程,并提高了去噪性能。DnCNN模型的提出不仅解决了高斯去噪问题,还将其扩展到其他图像处理任务(如超分辨率和JPEG去块),展示了深度学习在图像处理中的强大潜力。