基于稀疏表示的图像复原方法研究

1、稀疏表示

        稀疏表示作为一种数据挖掘技术，利用海量高维数据的高冗余性与感兴趣信号的稀疏性，能够有效提取出高光谱地物信息。然而，早在20世纪70年代，信号处理领域已经出现了稀疏性的概念。当时诸如快速傅里叶变换、Karhunen-LoeveTransform(KLT)等方法均是基于线性变换的方法。直到20世纪90年代，基可变理论的引入使得稀疏表示往前迈进了一大步。最近几年，稀疏表示SR(Sparse Representation)理论基于少数可压缩信号的线性预测包含足够的信息进行重建和处理，因其不依赖传统Shannon Nyquist采样定律和高精度重建性能而迅速成为新型信号表达和图像处理方法，在信号压缩、图像质量改善、影像分类等领域得到广泛应用。利用高光谱图谱合一的特性不仅能挖掘地物空间分布排列的稀疏性，谱间高相关性能够进一步助力地物稀疏信息挖掘，有其得天独厚的优势。

      稀疏表示理论认为，对于给定字典，每个信号都可以利用字典中的少数基元线性表达，如下图所示。因此，如何设计一个过完备字典，并通过稀疏编码，获得每个信号的稀疏表示向量是稀疏表示的目的。稀疏表示中的字典和稀疏编码具有过完备性、自适应性和非局部选择性等特点。过完备性是指无需字典中所有基元即可实现任何信号的高保真重建。自适应性是指在过完备字典下的稀疏编码具有良好的信号匹配性。非局部选择性是指通过惩罚被激活字典基的个数保证与待表示信号相关的有限个字典原子被选中。

       稀疏表示的关键问题是字典获取。现有字典大致可分为3类：预设字典、自适应字典和基于学习的字典。预设字典针对某些特定影像类型设计，如小波基、轮廓波等，较适用于程式化的卡通人物表示。自适应字典使用特定参数调控字典基元，其中较为典型的包括小波包和条带波。这两类字典变换速度快，但是表示过程的稀疏性与应用的泛化性能都具有明显局限。基于学习的字典则通过学习样例集来保持与实际应用的高相关性，摆脱了前面两类字典从理论模型出发的构造方式，转而从待表示数据出发，寻求与待表示数据相关且完备的字典基元。该类字典灵活性大、表示性能好、但计算量大，需要根据具体的任务进行学习。在高光谱图像处理分析中，字典学习因具体任务设定可分为基于重建的字典学习和监督字典学习两类。基于重建的字典学习旨在找到高精度紧致表示所有训练样本的相互不相关的基元，监督字典学习在满足基于重建字典学习的目的基础上，要进一步挖掘字典基元组的判别特性。

2、稀疏编码

        在过去的二十余年内，稀疏编码和字典学习已成为发现高维数据潜在低维结构的重要技术。稀疏编码旨在用字典（也就是一组原子）来表达给定数据，使得一些字典原子的线性组合可以很好地近似数据。换句话说，一个信号 y 可以用一个字典 D表达为：

其中，系数向量 c 是稀疏的，即其中大部分元素为 0。这样一个具有稀疏模式的 c 通过与字典的结合，能够有效地表达数据的基本结构，并且可以获得对数据的更紧凑表示。用于稀疏编码的字典可以是解析形式的（例如小波字典），或是从数据当中学习的。通常，字典学习可以显著地改善字典的表示能力。同时因为学习到的字典更适应于数据，能够保证系数向量具备更好的稀疏性。通过字典学习来获得稀疏编码的一个普通优化模型可以写为如下形式：

 其中，{yi} ⊂ RZ是一组需要被近似的信号集合，ci对应于信号 yi的稀疏编码，D表示字典，最后，{λi} 表示一组平衡因子，用于平衡目标函数的保真项与系数向量的稀疏度。

        如上节所述，字典学习过程中往往使用的是过完备字典（over-complete dictionary)，因为字典的冗余性有助于发现系数向量的稀疏解。但是，字典越冗余，所需要的计算成本就越高。另一种选择是使用正交字典（orthogonal dictionary），它可以实现算法性能与计算成本之间的平衡。事实上，已经有研究表明使用正交字典可以开发出非常高效的算法，并且能够在图像修复领域的若干问题上达到与冗余字典相当的性能。值得一提的是，传统的稀疏编码方法是针对矩阵形式开发的，并且它们不适用于一般张量数据。因此，出现了张量数据稀疏编码技术的工作，称为张量稀疏编码。

 3、基于稀疏性的图像复原算法

        目前，大多数以模型驱动的图像复原算法，是以图像的低秩性为基础建模求解的。但是，仅仅依靠图像的低秩性不足以恢复原来的图像。下面，将介绍一种以稀疏性和低秩性为约束的图像复原方法。本算法提出的模型同时考虑了待填充张量数据的低秩和稀疏先验性，以便更好的利用张量数据的结构信息。有学者发现在矩阵中利用截断核范数可以对矩阵秩函数进行较好的近似，因此，有人通过定义一个新的张量截断核范数（T­-TNN）直接将矩阵的此性质推广到张量中。本算法中，采用 T­-TNN 来刻画待填充数据的低秩先验信息。又由于信号数据在离散余弦变换域（DCT） 内具有本质的稀疏性 ，故本算法主要考虑张量在（DCT）域内的稀疏性。进一步，为更好利用这种稀疏性，算法在目标函数中引入 ℓ1范数正则项来加强局部稀疏性和保留待填充数据的更多按片光滑性。由于提出的算法重点体现在稀疏性的利用，故将算法命名为 Sparse Regularization in a transformed domain，即 SRTD。

 其中，目标函数中的第一项是张量截断核范数（下面公式定义），第二项是稀疏正则化项。

 上式中的r是保留的奇异值的个数，T（x）表示一个变换，并且假设变换后的张量是稀疏的。

将目标函数是非凸的，因此，将其转化为一个凸问题，进而用ADMM算法求解。算法伪代码如下所示，详细说明见文献2。

 4、基于低秩表示与稀疏约束的张量补全方法

        本算法提出了一种新的张量补全方法，旨在同时利用数据的全局结构和局部模式来进行张量补全。基本思想是引入张量的加权核范数来表征数据的全局低秩结构，并使用通过字典学习获得的稀疏编码来捕获数据的局部模式。基于这个想法，建立优化模型如下：

其中，X 是需要被修复的不完备张量，B 是张量块重构子，D 是需要学习的正交字典，C 是由 X 在 D 上分解得到的稀疏编码集合，β, λ > 0代表平衡因子，M 是潜在的原始张量，且 XΩ= MΩ代表 X 和 M 在支撑集 Ω 上的元素值相等。对于加权张量核范数的具体定义详见参考文献3。

        模型中有两个组件。第一个组件是对重建数据 X 的结构施加全局低秩约束，从而将数据的全局相似性与潜在的低维度特性用于其修复重建。第二个组件是对重建数据 X 施加局部稀疏约束，即 X 的局部块可以基于某个字典 D 来进行稀疏表示，借此能够更好地揭示张量内的局部模式，从而获得更好的修复结果。为了实现更有效的稀疏表示，本算法采用对字典 D 进行学习的方式，通过学习而得到的字典可以对数据的局部结构有很强的适应性。此外，使用正交字典能够在不损失太多算法性能的情况下，实现对算法的加速，因此，还在需学习的字典上施加了相应的正交约束。

        该模型的好处可以归纳为两个方面：1）关于张量的低秩近似，算法使用加权的张量核范数，它可以保证重建数据具备低秩结构。并且，在对张量秩的近似能力上，加权张量核范数要优于一般的张量核范数或者截断的张量核范数。由于充分考虑了奇异值所具有的物理意义，它可以很好地捕捉数据的全局信息。2）基于字典学习得到的稀疏正则项，可以有效地发现数据的局部结构信息，并利用该信息进行张量补全。

5、 联合变换域的稀疏和低秩的张量填充模型[4]

        基于变换域的低秩张量填充模型 ，这些方法都只考虑了变换域的正面切片的低秩性，而忽略了张量的沿第三维的 tube 是一维信号，在变换域下具有稀疏性。下图是在多光谱和视频数据上的原始域和变换域的直方图统计，可以看到在变换域下数据的绝大多数值接近 0，说明数据在变换域下具有稀疏性，进一步证实了我们的设想。

 基于以上观测，作者提出了协同变换域的稀疏和低秩 (CSLRT) 的张量填充模型：

其中 D 和 Q 是两个学习的变换；Z 和 S 分别是变换 D 和变换 Q 下的低秩张量和稀疏张量；第二项是 S 的所有沿第三维的 tube 的 ℓ1范数之和，用来约束 tube 的稀疏性；λ 是正则参数用来平衡稀疏项和低秩项，d 和 q分别是变换 D 和 Q 的列数参数。对两个变换的列约束的条件使得变换相对于正交变换或者半正交变换更加冗余。在 CSLRT 框架下，变换域的稀疏作为变换域的低秩的一个补充，并且两者有机结合，相互受益。

        更进一步地，针对某些沿第三维相关性弱的数据，比如在空间域相关性强的彩色图片，作者提出沿 3 个不同模态去挖掘变换域的稀疏和低秩 (3DCSLRT)。3DCSLRT 的张量填充模型如下：

 以上两个模型的求解均采用PAM算法，具体求解过程及伪代码参见文献[4]。基于变换域的张量填充问题主要聚焦于两方面，一是使用的变换；二是变换下的低秩性。本文提出的方法虽然利用了高维数据的不同先验信息，即稀疏性和低秩性，属于第二类的推广，但是高维数据的先验信息远不只是稀疏性和低秩性。此外，目前所有的基于变换域的张量填充都是使用的线性变换，而高维数据都是具有非线性结构的，线性的变换难以刻画其复杂的内在结构。

        此前，本人的一些关注点在变换域下的张量低秩性。与变换域的低秩性有类似之处，自然界的数据通常在原始数据域上并不呈现稀疏特点，只在某些特定的变换域下稀疏。在很多应用中，数据表征的越稀疏，应用的去噪、填充、分类等性能越好。因此，找到一个域可以使得数据被更加稀疏的表示，即字典学习，是一个很有意义的研究方向。

[1]张良培,李家艺.高光谱图像稀疏信息处理综述与展望[J].遥感学报,2016,20(05):1091-1101.

[2]王苹苹. 低秩张量填充算法及其应用[D].电子科技大学,2021.DOI:10.27005/d.cnki.gdzku.2021.001384.

[3]都勇. 基于稀疏表达与深度表达的图像修复研究[D].华南理工大学,2019.DOI:10.27151/d.cnki.ghnlu.2019.004280.

[4]李本正. 基于协同变换域的稀疏和低秩张量填充的建模与算法研究[D].电子科技大学,2022.DOI:10.27005/d.cnki.gdzku.2022.003968.

[5]杨林晓. 稀疏与低秩理论及其应用研究[D].电子科技大学,2019.DOI:10.27005/d.cnki.gdzku.2019.000059.

[6]王玉刚. 数据复原问题的稀疏优化模型及算法研究[D].电子科技大学,2019.DOI:10.27005/d.cnki.gdzku.2019.000039.