图像降噪的一些总结

图像降噪，是最简单也是最基础的图像处理逆问题（inverse problem）。

大多数情况下，图像降噪都是ill-posed的问题。因为通过有噪音的观察，总是无法逆向求得唯一正确的干净图片。就好像让你解一个超越方程一样，不借助其他额外的条件信息，是没有唯一解的。

降噪问题（这里只讨论additive noise），用最简单的数学语言一句话就可以描述清楚：

y = x + e

y是你观察到的带噪音的图像，e是噪音，x是干净无噪音的图像。只已知y，外加e的概率分布，降噪问题需要你去寻找最接近真实值的x。

说起来降噪问题如此简单明了，但自从信号处理开宗立派起，研究人员一直在孜孜不倦地提出各种降噪算法。我最早也没搞懂，大家何必纠结于这么简单的问题，而不去考虑更复杂，更贴近实际的花哨应用？

然而世间万物的规律，万变不离其中：不管多复杂问题，其本质往往都有简单的起源。而看似简单的问题，往往却是高手一身修行的追求：就好像考察一个书法家功力，看他写一个永字就好；看一个川菜厨师功力，看他做一道开水白菜就好。

科研之道和其他道也类似，简单的任务见到的是这个approach的潜力：这仅仅是起点，而不是终点。一个好的科研者应该要着眼于起点，追求问题的本源，然后拓展到未来，此为道。只追求花哨的应用，拼凑堆叠，舍本求末甚至本末倒置，只能为术。

好吧，扯远了。我就是想说，图像降噪问题，最简单也最困难。

那么要怎么解好这个逆问题呢？

降噪的本质，是要从观测值中分离噪音，保留图像。算法的关键，是要掌握并借助于图像本身独特的性质和结构。具体用什么性质，这个流派就多了，我在这里就先提供一个不完全总结，关于近期的一些好的图像降噪算法。

---

根据算法利用了什么图像性质，或者用到的手段，我大概把各种算法分成如下几类：

1. 滤波类
2. 稀疏表达类
3. 外部先验
4. 聚类低秩
5. 深度学习

我根据我的了解，对于每一个类比总结了一个常见算法列表。

入选的算法要满足：1.近期(05年以后)提出的算法，2.有可复现的代码提供，3.可以得到很好，或者接近state-of-the-art的效果。

由于我的水平有限，希望同行高手来帮这个public repo添砖加瓦。

以下是可复现的图像降噪算法列表，包含了简要的算法介绍，若想了解算法详情，可在该链接中查看：https://github.com/wenbihan/reproducible-image-denoising-state-of-the-art

Filter
NLM
A non-local algorithm for e denoising (CVPR 05), Buades et al.

BM3D
Image restoration by sparse 3D transform-domain collaborative filtering (SPIE Electronic Imaging 2008), Dabov et al.

PID
Progressive Image Denoising (TIP 2014), C. Knaus et al.

Sparse Coding
KSVD
Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries (TIP 2006), Elad et al.

LSSC
Non-local Sparse Models for Image Restoration (ICCV 2009), Mairal et al.

NCSR
Nonlocally Centralized Sparse Representation for Image Restoration (TIP 2012), Dong et al.

OCTOBOS
Structured Overcomplete Sparsifying Transform Learning with Convergence Guarantees and Applications (IJCV 2015), Wen et al.

GSR
Group-based Sparse Representation for Image Restoration (TIP 2014), Zhang et al.

Effective Prior
EPLL
From Learning Models of Natural Image Patches to Whole Image Restoration (ICCV2011), Zoran et al.

GHP
Texture Enhanced Image Denoising via Gradient Histogram Preservation (CVPR2013), Zuo et al.

PGPD
Patch Group Based Nonlocal Self-Similarity Prior Learning for Image Denoising (ICCV 2015), Xu et al.

PCLR
External Patch Prior Guided Internal Clustering for Image Denoising (ICCV 2015), Chen et al.

Low Rank
SAIST
Nonlocal image restoration with bilateral variance estimation: a low-rank approach (TIP2013), Dong et al.

WNNM
Weighted Nuclear Norm Minimization with Application to Image Denoising (CVPR2014), Gu et al.

Multi-channel Weighted Nuclear Norm
Multi-channel Weighted Nuclear Norm Minimization for Real Color Image Denoising (ICCV 2017), Xu et al.

Deep Learning
SF
Shrinkage Fields for Effective Image Restoration (CVPR 2014), Schmidt et al.

TNRD
Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration (TPAMI 2016), Chen et al.

DnCNN
Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising (TIP2017), Zhang et al.

Combined with High-Level Tasks
Meets High-level Tasks
When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach (Arxiv2017), Ding Liu, Bihan Wen, Xianming Liu, Thomas S. Huang.

Benchmark
Darmstadt
Benchmarking Denoising Algorithms with Real Photographs (CVPR 2017), Tobias Plotz, Stefan Roth.

---

下面对于这几类算法的一些简略地解释：

滤波类：相对比较传统的一类算法，通过设计滤波器对图像进行处理。特点是速度往往比较快，很多卷积滤波可以借助快速傅里叶变化来加速。近期的一些算法例如BM3D也结合了一些block matching来利用图片的self-similarity，达到了很棒的效果。

稀疏表达类：自然图片之所以看起来不同于随机噪音/人造结构，是因为大家发现他们总会在某一个模型（synthesis model或者analysis model）下存在稀疏表达。而我们想排除的噪音往往无法被稀疏化。基于这个判别式模型（discriminative model），用稀疏性来约束自然图像，在很多逆问题里取得了拔群的效果。

外部先验（external prior）：如果从有噪音的图片本身无法找到规律，我们也可以借助其他类似但又没有噪音的图片，来总结图片具有的固有属性。这一类方法利用的外部图片来创造先验条件，然后用于约束需要预测的图片。最有代表性的工作，就是混合高斯模型（Gaussian Mixture Model）。严格来说，基于深度学习的算法也可以归于这个类。

聚类低秩（Low-Rankness）：除了可稀疏性，低秩性也是自然图片常见的一个特性。数学上，可稀疏表达的数据可以被认为是在Union of low-dimensional subspaces；而低秩数据则是直接存在于一个Low-dimensional subspace。这个更严格的限制往往也可以取得很好的降噪效果。

深度学习（Deep Learning）：这类可以归于外部先验的子类，但由于近期大热，我单独拿出来说说。如果说解决逆问题的关键，是寻找一个好的图像约束器（regularizer），那么我们为什么不用一个最好的约束器？深度学习方法的精髓，就在于通过大量的数据，学习得到一个高复杂度（多层网络结构）的图片约束器，从而将学习外部先验条件这一途径推到极限。近期的很多这类工作，都是沿着这一思路，取得了非常逆天的效果。

根据我的经验，基本上主流的图像降噪算法，都可以被放到这上面的5种类型中。

具体论文下载和代码见：https://github.com/clxiao/Image-Denoising-State-of-the-art