Non-local Sparse Models for Image Restoration论文阅读笔记

摘要

本文提出了两种在图像恢复中的不同方法：
①learning a basis set (dictionary) adapted to sparse signal descriptions—学习适合稀疏信号描述的基集(字典)
②explicitly exploiting the self-similarities of natural images，non-local means approach—明确利用自然图像的自相似性和非局部平均法

1.介绍

早期工作：
relied on various smoothness assumptions—such as anisotropic filtering [21], total variation [25], or image decompositions on fixed bases such as wavelets [17] for example.依赖于不同的平滑假设，例如各向异性滤波，全变分，或者固定基底上的图像分解，例如小滤波。

近期工作：
non-local means filtering [3],非局部平均法 which exploits image self-similarities, learned sparse models [11, 15], Gaussian scale mixtures [22], fields of experts [24], and block matching with 3D filtering (BM3D) [7].

该论文中将两种经典的技术结合在一个框架中：
①The non-local means approach to image restoration explicitly exploits self-similarities in natural images [3, 10] to average out the noise among similar patches
图像恢复中的非局部平均法明确的应用了自然图像的自相似性来平均相似贴片间的噪声。
②sparse coding encodes natural image statistics by decomposing each image patch into a linear combination of a few elements from a basis set called a dictionary.
稀疏编码通过将每个图像块分解成几个元素的线性组合，从一个称为字典的基集中编码自然图像统计信息。

We propose to extend and combine these two approaches by using simultaneous sparse coding [28, 29, 31] to impose that similar patches share the same dictionary elements in their sparse decomposition.
我们建议通过使用同时稀疏编码[28，29，31]来扩展和组合这两种方法，以强制要求相似的补丁在稀疏分解中共享相同的字典元素。

优势：
①这是第一次将图像自相似的相应模型明确地用于具有所学字典的公共环境中。
②提出的方法在图像去噪和图像去马赛克任务中比最先进的方法表现的好，这就可能可以用合理的速度和内存成本有效地恢复数码相机的原始图像。
③我们的模型是通用的，可以直接扩展各种图像和视频恢复任务。 例如修补，并能适应大类数据，如多光谱图像或MRI数据。

2.相关工作

一般为了方便，假设数字相机的噪声是高斯噪声。虽然这和实际噪声有点不一样，但是这促进了有效算法的发展。本文同样使用了这个假设，但是本文提出的方法在非高斯噪声和非均匀噪声上也是有效的。

2.1 非局部均匀滤波
首先什么是局部平均滤波算法呢？在一个目标像素周围区域平滑取值的方法。那么非局部均匀滤波就是利用了整幅图像进行去噪，即以图像块为单位在图像中寻找相似区域，再对这些区域取平均，较好地滤除图像中的高斯噪声。

给一个噪声图像v={v(i)，i∈I}，那么被估计的值NL[v]（i）可以如下计算：

其中w是权重。衡量两个图像块的相似度最常用的方法是计算他们之间的欧氏距离：


其中 a 是高斯核的标准差。在求欧式距离的时候，不同位置的像素的权重是不一样的，距离块的中心越近，权重越大，距离中心越远，权重越小，权重服从高斯分布。实际计算中考虑到计算量的问题，常常采用均匀分布的权重。

2.2 学习的稀疏编码

稀疏编码
p=0，正则项是L0正则化；
p=1，正则项是L1正则化，这就需要通过 LARS 算法求解；
对于字典学习：
由于图像一般都较大，对于大小为n的图像，字典是维度为m×k采用n个大小为m的贴片组成（m<<n），
其中 C是 m×k维空间中 具有单元L2范数列的矩阵集。，A=[α1，.，αn]是k×n维空间中的一个矩阵。yi是带噪图像y的第i块，αi是相应的编码，Dαi是去噪片的估计值。我们假设的是这些贴片是彼此独立的，但是实际上他们是重叠的。由于每个像素都被估计了m次，因此可以通过下列公式来平均：

其中Ri在n×m维空间中是二值矩阵，它将贴片号i放置在图像中的适当位置。

2.3 BM3D
通过在图像中找到相似的块来重建贴片(块匹配)，把它们堆成一个三维信号块，使用三维正交字典(3D滤波)对块进行hard or soft thresholding去噪。

3.提出的公式

将图像的自相似性运用到提高学习的稀疏模型。
利用同步稀疏编码，它鼓励相似的补丁允许相似的稀疏分解。

3.1. Simultaneous Sparse Coding 同时稀疏编码
联合稀疏模型—就是一群非零的系数通过对矩阵A分组稀疏正则化操作强加到一组向量中。目的是限制A的非零行数目，或者用伪矩阵范数Lp,q代替方程（3）中的Lp范数。

当（p,q）=（1,2）时，代表凸优化；当（p,q）=（0,∞）时，代表计算每一行非零个数，是伪范数。

3.2 公式原则
通过将稀疏编码和非局部均匀滤波结合可以利用重叠贴片之间的冗余信息，解决一个像素在图像中找不到相似像素的问题，但是也会导致相似贴片不采用相似估计的问题。
在这篇论文中，我们通过强制相似的贴片采用相似的分解来解决这个问题。
具体的，为每个贴片yi定义它的相似贴片集Si，ε是阈值：

在集Si上用分组稀疏正则项分解贴片yi等于解决：

D是m×k维的固定字典，

在学习稀疏编码框架下，根据感兴趣的图像调整D自然会导致以下优化问题：

式中，D是m×k维空间中，单元l2范数列。用|Si|p进行归一化操作，确保所有的组权值相等。在这里我们采用l1-2范数学习字典，采用l0-∞伪范数进行最后的重构。为了重构最后的图像，我们对每一个像素的估计进行平均：

1m是一个大小为m的向量，其中充满了1。

3.3 实际公式和实施
在优化问题（8）中，计算量被向量aij支配，最差的情况下会计算到n×n，我们接下来需要修改我们的原始公式，以便使这个数在n中线性，并允许有效的优化。
半本地分组
建立ww的搜索窗口来寻找y的相似块，这样可以将计算量减少为nww。
聚类
将像素聚类为不相交的组Ck，以便Ck中的所有像素i共享相同的集合Si。与同一簇中所有像素相关联的优化问题(7)是相同的，进一步降低了总体计算量。
D的初始化
使用在线程序，从Pascal VOC‘07数据库的10 000张图像中随机获取2×107块自然图像，我们的初始词典被学习。这种大规模数据学习可以提高性能。
提高匹配
我们注意到，通过对贴片进行第一轮去噪，可以进行更好的对相似块分组。
贴片规范化
为了提高稀疏编码的数值稳定性，通常会先从所有像素值中减去贴片的平均强度(或rgb颜色)值，然后将其分解，然后再添加到估计值中。
减少内存损耗
事实上，在任何给定的时间，只存储一小部分向量αij的在线过程动态地计算它们，并且不需要存储它们来学习字典。

3.4 真正的图像和去马赛克
去马赛克步骤分解如下：
（1）在马赛克图像y中聚类相似补丁y
（2）在自然彩色图像数据库中使用[16]学习初始字典D0。用D0重构每一个补丁，为所有i寻址：
其中Mj是对应于测量值的拜耳模式的二进制掩码，并且平均重建以获得去马赛克图像的估计x。
（3）用最强的正则化为x学习一个字典D1，在方程（8）中用x代替y，用较大值εi来求解方程
（4）在方程（10）中用D2=[D0 D1]来重构每一个贴片，用方程（9）对估计进行平均来获得最后的去马赛克图像。
简言之，由于我们的去噪过程的通用性，所以在去马赛克之前使用我们的去噪步骤提高的实验结果。

4.实验验证

实验验证具体过程就不详解了。