综述 | 图像去噪综合比较研究

编者荐语

 

图像去噪的目标是从受噪声干扰的退化图像中尽可能恢复原始的真实图像，是图像进行后续处理的关键一步。文章介绍了一篇比较经典的多维图像去噪综述文章，非常适合新入门的同学。

前言

图像去噪（Image Denoising）是低层视觉（或者说是图像处理）中一个经典的问题，也是一个非常活跃的研究领域。图像去噪的目标是从受噪声干扰的退化图像中尽可能恢复原始的真实图像，是图像进行后续处理的关键一步。

图像的噪声来源相对复杂，搞清楚图像噪声的成因对我们进行图像去噪的工作有帮助，对于满足某些数学统计规律的噪声，那么逆向去除的时候就变得好办了。但实际的情况下却很难得到合适的噪声模型，所以问题也就变得非常复杂与困难。

对于图像噪声而言，其本质并非是空域的，而是相对于连续时间内，该点产生的不同输出而言，如果误差较大（超出允许的范围），才能称之为噪点。即噪声本质是时域的，并不是该点相对于周边点显得突兀，就说该点是噪点。

噪声的来源

一幅图像在实际应用中可能存在着各种各样的噪声，噪声可能在传输中产生，也可能在量化等处理中产生。

我们一般将噪声分为三类：加性噪声，乘性噪声和量化噪声。用f(x,y）表示给定图像，g(x,y）表示图像信号，n(x,y）表示噪声。

1.加性噪声，此类噪声与输入图像信号无关，含噪图像可表示为f(x, y)=g(x, y)+n(x, y),信道噪声及光导摄像管的摄像机扫描图像时产生的噪声就属这类噪声；

2.乘性噪声，此类噪声与图像信号有关，含噪图像可表示为f(x, y)=g(x, y)+n(x ,y)g(x, y),飞点扫描器扫描图像时的噪声，电视图像中的相干噪声，胶片中的颗粒噪声就属于此类噪声；

3.量化噪声，此类噪声与输入图像信号无关，是量化过程存在量化误差，再反映到接收端而产生。

论文解读

目前来说图像去噪分为三大类：基于滤波器的方法（Filtering-Based Methods）、基于模型的方法（Model-Based Methods）和基于学习的方法（Learning-Based Methods）。或者分为（更便于理解一些）：基于人工特征的传统去噪方法和基于深度学习的去噪方法。

相对于传统图像去噪方法，基于深度学习的图像去噪方法具有强大的学习能力，不仅可以拟合复杂噪声分布，还节省了计算时间。今天介绍的论文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』，对传统的图像去噪方法和深度学习方法进行了综述和比较，考察了191篇文献，相信对研究该方向的朋友定有帮助。

作者信息：

作者来自理海大学和华南理工大学。

论文：https://arxiv.org/abs/2011.00346

代码&数据：发送电子邮件（kong.zm@mail.scut.edu.cn），其中包含姓名、职位和用途等信息。

从理论上讲，图像denoising是一个反问题的特殊情况，旨在估算嘈杂观察结果的基本干净图像。在实际应用程序中，它可以用作后续任务的预处理步骤，例如视觉跟踪，分割和分类。此外，它可以作为增强图像质量的最终目标，以产生更宜人的图像。

文章主要输出了如下三个方面的结果：

1.用多个不同的摄像机构建了一个新的真实世界的室内外彩色图像(IOCI)和彩色视频(IOCV)数据集。该数据集由基于人工室内对象在不同光照条件下的室内和自然室外场景捕获的图像和视频序列组成，是对当前具有各种挑战性现实背景的基准数据集的很好的补充；

2.比较了60多种多维图像去噪方法，并在合成数据和真实数据集上进行了广泛的实验。采用主观和客观的指标，并通过定量结果和人类视觉评分来评价比较方法的去噪质量；

3.基于综合的实验结果，做了三个有趣的观察结果。首先，BM3D家族在多个去噪任务的有效性和效率方面仍然表现出非常有竞争力的性能。其次，对于传统的仅通过噪声观测来学习的去噪器，我们认为改进的奇异值分解(M-SVD)方法能够与许多基于张量的方法产生相似的结果。此外，几个用合成噪声训练的DNN模型在现实情况下表现出了令人印象深刻的通用性。具体来说，协同和卷积滤波(FCCF)模型，以及基于U-Net和ResNet的去噪网络(DRUNet)的融合为彩色图像去噪任务产生了最好的结果。与基准视频bm4d(FastDV4D)实现相比，快速深度视频去噪网络(VastDVDNet)和非本地视频去噪网络(VNLNet)在彩色视频去噪方面有了显著的改进。

‍图像Denoising享有丰富的历史，最早的作品可能可以追溯到20世纪50年代。最近的Denoising方法的激增主要归功于著名的块匹配3D（BM3D）框架，该框架结合了自然图像的非本地相似性特征（NLSS）和转换域中的稀疏表示。即自然图像内部含有相似的图像块，利用此特点恢复源图像：

传统图像去噪方法（成功的BM3D框架的众多方法）流程：

噪声图像经过Grouping、Collaborative filtering、Aggregation，得到结果图像。

在早期阶段，许多相关作品着重于过滤单通道灰度图像。最近，成像系统和技术的进步在很大程度上丰富了由多维图像保存和提供的信息，这可以为真实场景提供更忠实的代表。

图像大小和尺寸的增长也对去噪有了更大的要求。处理高维图像的一个主要挑战是有效地利用多通道或光谱的相互相关信息，并在噪声去除和细节保存之间找到平衡。

传统的多维图像数据的去噪器：

基于DNN去噪方法及应用：

具有代表性的多维图像去噪方法和数据集的发展史：

具有三个卷积层的简单CNN denoising框架的插图：

流行的多维图像Denoising数据集的信息，用于合成和现实世界实验：

传统方法和基于DNN的方法在四个逼真的颜色图像数据集上的平均PSNR，SSIM值和计算时间：

在现实世界颜色视频数据集上比较方法的PSNR和SSIM值：

对于图像去噪PSNR 和 SSIM 并不能完美反应图像质量，额外做了大量的视觉评估：

CC15 数据集(PSNR)

PolyU 数据集(PSNR)

IOCI’s IPHONE 5S 数据集(PSNR)

IOCV 数据集（彩色视频去噪）

由IOCV数据集上不同方法产生的序列的人类评级结果：

对现实世界HHD数据集的MSI降解方法的视觉评估：

带有Rician噪声的T1W，T2W和PDW数据的不同方法的平均PSNR/SSIM和计算时间：

高噪声水平下的去噪性能比较：

6种不同实现的PSNR 和 SSIM 评估：

在Renoir和DND数据集中对CMST-SVD进行视觉评估：

当组中的所有斑块相同时，截断的HOSVD（T-HOSVD）产生的过度平滑效应的说明：

最后作者做了总结：

1.BM3D家族的总体强大降级能力；

2.与矩阵实现相比，张量表示不能保证更好的结果；

3.一些DNN的方法虽然在合成数据集上训练，但在实际测试中仍表现出强大的泛化能力。

论文覆盖范围广泛，非常适合入门图像去噪的同学阅读，最近一两年内的新论文可以在阅读本论文后自行补充。部分未介绍之处，可以阅读原文获得。

—THE END—

往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载中国大学慕课《机器学习》（黄海广主讲）机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑机器学习交流qq群955171419，加入微信群请扫码（读博请说明）