近日哈尔滨工业大学、广东工业大学、清华大学与台湾国立清华大学等研究人员共同撰写一篇深度学习在图像去噪上的综述并在arxiv发表，该综述系统地总结图像去噪的重要性、图像去噪技术的发展、传统的机器学习和深度学习的图像去噪技术的优缺点以及刨析出图像去噪技术面对的挑战与潜在的研究点。该综述对学术界和工业界都有重要的指导作用，值得学习。
Deep Learning onImage Denoising: An Overview
论文链接：https://arxiv.org/abs/1912.13171
相关代码链接：https://github.com/hellloxiaotian
1 背景与动机
数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。
图像去噪技术在20世纪90年代已经成为研究热点。例如：用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声[46]。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。
虽然这些大部分方法在图像去噪上能达到好的性能，但是他们有以下缺点：
(1) 在测试阶段涉及复杂优化方法,
(2) 手动的设置参数,
(3) 一个固定的模型来处理单个去噪任务。拥有灵活结构，深度学习技术拥有强的自学习能力来解决这些方法的缺点。
2 本文研究框架
本文有浅到深介绍深度学习在图像去噪应用，首先介绍深度学习在图像处理的基本框架，包括：有监督和无监督机器学习、卷积网络、深度学习在图像去噪的主要结构（如：VGG、ResNet、GoogLeNet和GAN）和深度学习技术常用软件和硬件；其次重点介绍深度学习技术在图像去噪上应用，如图示1所示：
深度学习技术在图像去噪上应用包括外加的白噪声图像去噪的深度学习技术、真实噪声图像去噪的深度学习技术、盲去噪的深度学习技术和混合噪声图像去噪的深度学习技术。
2.1 外加的白噪声图像去噪的深度学习技术：
CNN/NN for AWNI denoising, CNN/NN and commonfeature extraction methods for AWNI denoising 和The combination of optimization method and CNN/NNfor AWNI denoising。
2.1.1 CNN/NN for AWNI denoising：
根据噪声的属性设计不同网络结构是极为关键的，设计网络结构有以下方式：
（1）利用多视角来设计网络；
（2）改变Loss函数；
（3）增加CNN的宽度或者深度；
（4）在CNN中增加任意的插件；
（5）在CNN中使用跳跃连接 (Skip connection)或者级联操作（Cascadedoperations）。
补充说明：
第（1）种方式：包括三种类型：一幅噪声图像作为多个子网络的输入；一个样本的不同角度作为网络的输入；一个网络的不同通道作为输入。
第（4）种方式：任意插件包括激活函数、空洞卷积、全连接层和池化层等。
第（5）种方式：包括skip connection和cascaded operation。表 1 提供CNNs/NNs forAWNI denoising的总结。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-APw75nfo-1581496121355)(http://bbs.cvmart.net/uploads/images/202001/27/3/BRKj8hRcO1.png?imageView2/2/w/1240/h/0)]
2.1.2 CNN/NN and common feature extraction methodsfor AWNI denoising：
weak edge-information, non-linear, high-dimensional and non-salient noisyimages 和high computational costs。对于weakedge-information noisy images来说，CNN with transformation domain method来移除噪声是非常有效的。对于non-linear noisy images来说，CNN with kernel method在恢复潜在干净图像是非常有效的。这类方法一般有三步：
第一步用CNN来提取特征，
第二步勇核方法来把获得非线性特征转为线性特征，
第三步利用残差技术来重构潜在的干净图像。
对于high dimensional noisy images来说，CNN和降维方法的组合是常用的去噪方法。对于non-salient noisy images来说，信号处理方法能引导CNN来提取显著的特征。对于high computational cost， CNN和图像的属性结合能有效地降低复杂度。上述涉及方法的更多信息被展示在表2。
2.1.3 The combination of optimization method and CNN/NN for AWNI denoising：
（1）提高去噪速度，
（2） 提高去噪的性能。
对于提高去噪效率，把优化方法嵌入到CNN来寻找最优解决是不错工具。此外，把噪声映射和噪声图像块作为CNN的输入也能提高预测噪声的速度。对于提高去噪的性能，把CNN和先验知识结合起来能有效移除噪声。表3展示The combination of optimization method and CNN/NN for AWNI denoising方法的详细信息。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c2Ggwf93-1581496121356)(http://bbs.cvmart.net/uploads/images/202001/27/3/Hkf7PpTVXG.png?imageView2/2/w/1240/h/0)]
2.2 Deep learning techniques for real noisy image denoising：
单一的end-to-end的CNN和CNN和先验知识的结合。对于第一类，设计网络结构对处理真实噪声图像是流行的。把多尺度、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效处理真实噪声图像。这些方法的详细信息被展示在表4：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PuQMQbhL-1581496121357)(http://bbs.cvmart.net/uploads/images/202001/27/3/UqDICHwBnV.png?imageView2/2/w/1240/h/0)]
对于第二方面把CNN和先验知识组合能很好地解决真实噪声图像。验证知识包括HQS、TV和channel prior。表5显示这些方法的详细信息。
2.3 Deep learning techniques for blind denoising:
利用image device和soft shrinkage和CNN/NN结合能很好地进行blind denoising。更多方法在表6被展示。
2.4 Deep learning techniques for hybrid noisy imagedenoising:
用warped guidance和CNN、单一的CNN以及CNN和iterative algorithm都能很好地移除混合噪声，更多信息如表7所示：
3 实验结果
3.1 数据库：
3.1.1训练集：
BSD400、Waterloo Exploration Database和polyU-Real-World Noisy Images。
3.1.2测试数据集：
Set12、BSD68、CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam。
3.2 Deep learning techniques for additive white noisy-image denoising结果
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8gr40AK9-1581496121362)(http://bbs.cvmart.net/uploads/images/202001/27/3/0Qwgy2yp9A.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4UmVW5nv-1581496121364)(http://bbs.cvmart.net/uploads/images/202001/27/3/ruSJ2Hs8jg.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5ImoyFUp-1581496121364)(http://bbs.cvmart.net/uploads/images/202001/27/3/3Hbo4Pxj4O.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BuXVqual-1581496121365)(http://bbs.cvmart.net/uploads/images/202001/27/3/ECSSsKwoBp.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZpz2ZmZ-1581496121366)(http://bbs.cvmart.net/uploads/images/202001/27/3/zugWqZCa1J.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qAfv8UN0-1581496121367)(http://bbs.cvmart.net/uploads/images/202001/27/3/tKiAuILZ0E.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VSEK3T0y-1581496121368)(http://bbs.cvmart.net/uploads/images/202001/27/3/En10DdpEWq.png?imageView2/2/w/1240/h/0)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qkTmGp9Z-1581496121369)(http://bbs.cvmart.net/uploads/images/202001/27/3/UV23hPxv6p.png?imageView2/2/w/1240/h/0)]
3.3 Deep learning techniques for real-noisy image denoising结果
Deeplearning techniques for blind denoising结果
3.4 Deep learning techniques for hybrid-noisy-image denoising结果
4 讨论
深度学习一般在图像去噪上都是提高图像性能、去噪效率和复杂的噪声图像。
4.1提高去噪性能，有如下解决方法：
(1)增大网络的感受野能捕获更多上下文信息来提高去噪性能。其中，增加网络宽度和深度是增加感受野最常见的方式，然而，他们会导致高的计算代价和更多内存消耗。空洞卷积能有效解决这个问题。
(2)CNN和先验结合能提取出来更鲁棒的特征。
(3)组合局部和全局的信息能提高网络的记忆能力。
(4)把信号处理机制融合都CNN能更好遏制噪声。
(5)数据增加能提高图像去噪性能。
(6)迁移学习、图学习和网络搜索能很好处理噪声图像。
4.2提高去噪效率
压缩网络能有效地提高去噪的速度。减少网络宽度和深度、利用小的卷积核、组卷积都能有效地提高去噪速度。
4.3解决复杂的噪声图像
利用分布机制是非常流行的。第一步利用CNN来估计噪声级别作为ground truth或者恢复高分辨率图像。第二分用来恢复潜在干净图像。
4.4挑战
（1）更深的网络需要占用更多内存。
（2）更深的去噪网络不能稳定地训练真实噪声图像、没有类标的噪声图像的模型。
（3）真实噪声图像不是容易获得的。
（4）更深地网络是困难来解决无监督去噪任务。
（5）寻找更精确的去噪衡量指标。
5 结论
在本文我们对不同去噪网络进行全面地研究和系统地总结。首先，我们展示用于图像去噪的深度学习的基本框架。然后，用于不同去噪任务（如：外加白噪声、盲噪声、真实噪声和混合噪声的图像）的深度学习技术被提出。接着，我们针对不同任务分析去噪网络的动机和理论。最后，我们比较了不同方法的去噪结果、效率和可视化效果。此外，我们也指出深度学习技术在图像去噪的潜在研究点和挑战。
作者介绍
田春伟
哈尔滨工业大学（深圳）计算机科学与技术学院2017级春季博士生, IEEE Student Member, CAAI Student Member和CCFMember。
目前研究方向为基于深度网络的图像复原研究。发表论文20余篇，其中发表CCF推荐论文5篇（第一作者发表CCF B类的TOP期刊2篇、中国人工智能会刊1篇）；申请发明专利3项、软件著作权4项，参与国家面上基金1项、深圳市重点项目1项、国家自然青年基金1项、黑龙江省自然基金1项以及主持国家大学生创新创业项目1项；并获得包括2019、2016和2015年硕士研究生国家奖学金、2012年国家奖学金；2019、2016和2014年黑龙江省三好学生以及2019、2018年哈工大优秀学生等在内的国家省部校级荣誉共计30余项。
此外，担任The 18th IEEE InternationalConference on Dependable, Autonomic and Secure Computing (DASC 2020)的PC、2019 ijcai PC assistant、IEEE Transactions on Industrial Informatics、Neurocomputing、Computer Vision and Image Understanding、VisualComputer、IEEE Access、Journal ofModern Optics、International Journal of Biometrics、International Journal of Image and Graphics、CAAITransactions on Intelligence Technology、3rd Asian Conferenceon Artificial Intelligence Technology和2019International Conference on Artificial Intelligence, Information Processing andCloud Computing等多个期刊和会议审稿人
个人主页：
https://scholar.google.com.hk/citations?hl=en&user=XGDP6QwAAAAJ&view_op=list_works&sortby=pubdate
https://github.com/hellloxiaotian
——END——
385
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
