近日哈尔滨工业大学、广东工业大学、清华大学与台湾国立清华大学等研究人员共同撰写一篇深度学习在图像去噪上的综述并在arxiv发表,该综述系统地总结图像去噪的重要性、图像去噪技术的发展、传统的机器学习和深度学习的图像去噪技术的优缺点以及刨析出图像去噪技术面对的挑战与潜在的研究点。该综述对学术界和工业界都有重要的指导作用,值得学习。
Deep Learning onImage Denoising: An Overview
论文链接:https://arxiv.org/abs/1912.13171
相关代码链接:https://github.com/hellloxiaotian
1 背景与动机
数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。
图像去噪技术在20世纪90年代已经成为研究热点。例如:用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声[46]。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。
虽然这些大部分方法在图像去噪上能达到好的性能,但是他们有以下缺点:
(1) 在测试阶段涉及复杂优化方法,
(2) 手动的设置参数,
(3) 一个固定的模型来处理单个去噪任务。拥有灵活结构,深度学习技术拥有强的自学习能力来解决这些方法的缺点。
2 本文研究框架
本文有浅到深介绍深度学习在图像去噪应用,首先介绍深度学习在图像处理的基本框架,包括:有监督和无监督机器学习、卷积网络、深度学习在图像去噪的主要结构(如:VGG、ResNet、GoogLeNet和GAN)和深度学习技术常用软件和硬件;其次重点介绍深度学习技术在图像去噪上应用,如图示1所示:
深度学习技术在图像去噪上应用包括外加的白噪声图像去噪的深度学习技术、真实噪声图像去噪的深度学习技术、盲去噪的深度学习技术和混合噪声图像去噪的深度学习技术。
2.1 外加的白噪声图像去噪的深度学习技术:
CNN/NN for AWNI denoising, CNN/NN and commonfeature extraction methods for AWNI denoising 和The combination of optimization method and CNN/NNfor AWNI denoising。
2.1.1 CNN/NN for AWNI denoising:
根据噪声的属性设计不同网络结构是极为关键的,设计网络结构有以下方式:
(1)利用多视角来设计网络;
(2)改变Loss函数;
(3)增加CNN的宽度或者深度;
(4)在CNN中增加任意的插件;
(5)在CNN中使用跳跃连接 (Skip connection)或者级联操作(Cascadedoperations)。
补充说明:
第(1)种方式:包括三种类型:一幅噪声图像作为多个子网络的输入;一个样本的不同角度作