图像去噪重要文献整理（一）NL-means / single image SR

图像去噪重要文献整理（一）

根据之前的ppt，整理一下图像去噪相关的重要文献和方法，包括传统方法和深度学习方法。

由于空域和变换域滤波是比较基本的图像处理方法，所以在此不进行讨论。我们从传统方法的第二个，也就是基于图像的自相似性的方法开始进行整理：

A non-local algorithm for image denoising （2005）

Antoni Buades et .al.

这个是NL - means的文章，首先，作者对图像去噪算法做了一个概括，说他们的出发点都是这个basic remark : denoising is achieved by averaging. 而这个average具体的操作可以有不同，可以是locally的，可以是anisotropic filtering，可以是neighborhood filtering，或者是对variation的计算，就是Total Variation minimization，还有在频域的empirical Wiener filtering，以及小波阈值的方法。

总结完之后，作者提到，对于传统的方法，往往在去噪的同时损伤了有效信号的fine details，所以它给出了一个叫做【算法噪声】 的评判指标，实际上就是把去噪后的结果与真实答案进行比对。以前可能比较强调PSNR，没有注意到是不是可以保护细节。另外，这个评价指标实际上也是为了说明NL-means的优于别人的特性。

NL-means的基本的公式和解释如下：实际上就是找像素点附近的小patch相似的点给它赋予较大的权重，进行平均。

下面计算了一些常规去噪方法的method noise，主要有Gaussian filtering，anisotropic filtering，TV minimization，neighborhood filtering，这里的neighborhood同时还包括值域的neighborhood，也就是用和某个像素点的邻域中值很接近的像素点来计算，比如SUSAN filter和双边filter。（We call neighborhood filter any filter which restores a pixel by taking an average of the values of neighboring pixels with a similar grey level value.）

NL-means就是利用了图像的自相似性，理论上对每个点都进行加权，权重就是patch相似度，也就是2范数的一个减函数，基本公式如下：

然后这是一些栗子，可以看出可以很好的找到相似的pixel。

在实现过程中，由于速度慢，所以并不是对所有的都加权，需要设定一个search window，作者实验用的是21×21，而patch用的是7×7，而且，为了适应更大的噪声，h可以增大。7×7足够大到可以对于噪声鲁棒，也足够小可以提取fine structure，因此最后method noise对比很感人。

Super-Resolution from a Single Image (2009, ICCV)

Daniel Glasner et. al.

这个不是图像去噪，而是超分辨率，之所以浏览一下是因为这个的基本思想也是基于自然图像中的patch recurrence，而且它的测试用例也都是这样的图像。这个recurrence指的是 across scales的。

example-based SR 指的是通过学习database中的高低分辨率的对应关系然后应用于low resolution去提高分辨率。但是这样的SR方法可能无法保证提供的就是真实的高分辨率的细节。

In the classical SR, this high-frequency information is assumed to be split across multiple low-resolution images, implic-
itly found there in aliased form. In example-based SR, this missing high-resolution information is assumed to be available in the high-resolution database patches, and learned from the low-res/high-res pairs of examples in the database.

Our approach is based on an observation (justified statistically in the paper) that patches in a single natural image tend to redundantly recur many times inside the image, both within the same scale, as well as across different scales.

作者提到了NL-MEANS也是基于patch repetition的想法做的去噪，这种自相似性是解决反问题的一个正则化的先验知识。并且提到了一些其他的SR方法也利用了这一点。

本文中的Single Image SR 是一个unified framework，就是classic和example-based的结合。

对于不同scale得到的similar patch，直接copy。效果展示用了一个尺度间重复很严重的图，所以效果很明显。

在这个unified 框架中，example-based SR起到的作用比较大，对分辨率提升性能贡献较大，但是classical的作用是可以防止出现假的细节preventing the Example-Based SR component from hallucinating erroneous high-res details。

由于这个不是去噪的文献，所以只做一下了解。

2018年03月17日15:56:02

人的一生有两件事情不可避免：一是死亡；二是税收。 —— 政治家 本杰明 富兰克林