2023图像复原综述论文笔记Recent progress in digital image restoration techniques: A review

目录

基本信息

Summary

图像复原技术分类（Taxonomy of image restoration techniques.）

 1. 基于图像处理的方法 (Image Processing-based Methods)

 1.1 扩散模型 (Diffusion-based Methods)

 1.2 滤波器方法 (Filtering-based Methods)

 1.3 变换方法 (Transformation-based Methods)

 1.4 特征导向方法 (Feature-oriented Methods)

 1.5 融合方法 (Fusion-based Methods)

 1.6 基于模糊逻辑的方法 (Fuzzy Logic-based Methods)

 1.7 基于颜色的方法 (Color-based Methods)

 1.8 统计方法 (Statistical Methods)

 1.9 生物启发式算法 (Bio-inspired Algorithms)

 2. 基于机器学习的方法 (Machine Learning-based Methods)

 2.1 神经网络 (Neural Networks)

 2.2 其他机器学习技术

 3. 基于深度学习的方法 (Deep Learning-based Methods)

 3.1 深度图像先验 (Deep Image Prior, DIP)

 3.2 卷积神经网络 (CNN)

 3.3 端到端展开网络 (End-to-end Unrolled Networks)

 3.4 编码器-解码器模型 (Encoder-Decoder Models)

 3.5 Transformer模型

 3.6 生成对抗网络 (GAN)

 3.7 翻译网络 (Translation Networks)

 3.8 分层网络 (Hierarchical Networks)

4.数据集 (Datasets)

---

基本信息

标题：Recent progress in digital image restoration techniques: A review

作者：Aamir Walia, Asma Naseer, Maria Tamoor, S.A.M. Gilani

发表年份：2023

期刊：Digital Signal Processing

DOI：Redirecting

Summary

文章将图像恢复技术分为三类：基于图像处理的、基于机器学习的和基于深度学习的。对于每一类，文章都回顾了近年来提出的各种方法。此外，文章还总结了用于图像恢复的数据集，并提供了基线参考，供未来研究人员比较和改进他们的结果。文章还提出了一些有趣的研究方向。

在图像处理方法方面，文章讨论了基于扩散、滤波、变换、特征导向、融合、颜色、统计和生物启发式技术的图像恢复方法。在机器学习方法方面，文章回顾了神经网络、支持向量机、遗传算法和总变分方法在图像恢复中的应用。在深度学习方法方面，文章讨论了卷积神经网络（CNN）、变换器、编码器-解码器模型、生成对抗网络（GAN）等模型在图像恢复中的作用。

文章还提出了一些未来研究的方向，包括处理具有多种失真的图像、使用神经网络进行图像去模糊、使用多个图像先验、按需学习、实时图像应用、增加神经网络和卷积神经网络模型的数据集大小、使用变换器模型、使用最新的GANs以及优化遗传算法等。

图像复原技术分类（Taxonomy of image restoration techniques.）

 1. 基于图像处理的方法 (Image Processing-based Methods)

 1.1 扩散模型 (Diffusion-based Methods)

• 模拟光在不同介质中的传播和散射，用于处理如皮肤成像等场景中的光散射问题。

 1.2 滤波器方法 (Filtering-based Methods)

• 空间滤波器：直接在图像的空间域上操作，如使用高斯滤波器去噪。
• 频率域滤波器：在图像的频率域（如傅里叶域）上应用滤波器，然后转换回空间域。
• 决策滤波器：结合多种技术，如k均值聚类和主成分分析（PCA），用于图像恢复。
• 混合滤波器：结合多种滤波器的优点，以提高图像恢复的效果。

 1.3 变换方法 (Transformation-based Methods)

• 快速傅里叶变换 (FFT)：使用FFT在频率域中处理图像，然后应用逆FFT转换回空间域。
• 小波变换：使用小波变换在多尺度上分析图像，适用于去噪和特征提取。
• 表面波变换 (Surfacelet Transform)：一种多分辨率变换，用于捕捉图像的局部特征。

 1.4 特征导向方法 (Feature-oriented Methods)

• 自相似特征 (Self-Similarity Features)：利用图像的自相似性来指导恢复过程，如在图像盲恢复中。
• 边缘增强对齐技术 (Edge-Boosting Alignment)：通过增强边缘信息来提高图像对齐的准确性。

 1.5 融合方法 (Fusion-based Methods)

• 伪突发特征融合机制 (Pseudo-Burst Feature Fusion)：用于处理连续拍摄的图像序列，以提高图像质量。
• 适应性上采样模块：用于在图像恢复过程中调整图像分辨率。

 1.6 基于模糊逻辑的方法 (Fuzzy Logic-based Methods)

• 噪声去除滤波器：应用模糊逻辑规则来识别和去除图像中的噪声。

 1.7 基于颜色的方法 (Color-based Methods)

•  颜色线模型：基于颜色空间的模型，用于处理颜色相关的图像退化。
•  颜色平衡算法 (Color Balance Algorithm)：调整图像的颜色平衡，以改善视觉效果。

 1.8 统计方法 (Statistical Methods)

• 暗通道先验 (Dark Channel Prior)：利用图像的暗通道信息来估计背景光和恢复图像。

 1.9 生物启发式算法 (Bio-inspired Algorithms)

• 优化技术：使用生物启发式的优化算法，如遗传算法，来优化图像恢复过程。

 2. 基于机器学习的方法 (Machine Learning-based Methods)

 2.1 神经网络 (Neural Networks)

• 卷积神经网络 (CNN)：使用卷积层提取图像特征，用于图像去模糊和去噪。
• 支持向量机 (SVM)：通过构建分类器来处理图像恢复任务，如图像去噪。
• 遗传算法 (Genetic Algorithms)：模拟自然选择过程来优化图像恢复中的参数。

 2.2 其他机器学习技术

• 全变分 (Total Variation, TV)：使用TV正则化来解决图像去噪问题，通过稀疏优化技术实现。

 3. 基于深度学习的方法 (Deep Learning-based Methods)

 3.1 深度图像先验 (Deep Image Prior, DIP)

• 使用未训练的深度网络作为图像先验，用于指导图像恢复过程。

 3.2 卷积神经网络 (CNN)

• CNN是深度学习中最常见的模型，用于提取图像特征并进行恢复。

 3.3 端到端展开网络 (End-to-end Unrolled Networks)

• 结合深度学习和先验知识，通过迭代过程学习图像恢复的映射。

 3.4 编码器-解码器模型 (Encoder-Decoder Models)

•  编码器用于提取图像特征，解码器用于重建图像。

 3.5 Transformer模型

• 基于自注意力机制的模型，能够捕捉图像中的长距离依赖关系。

 3.6 生成对抗网络 (GAN)

• 由生成器和判别器组成的网络，用于生成高质量的图像。

 3.7 翻译网络 (Translation Networks)

• 用于处理图像域之间的转换，如风格迁移。

 3.8 分层网络 (Hierarchical Networks)

• 通过分层结构处理图像，适用于复杂图像恢复任务。

4.数据集 (Datasets)

• 合成数据集：通过模拟退化过程生成的数据集，用于训练和测试。
• 实际数据集：从现实世界场景中收集的图像，用于验证模型的泛化能力。