《子空间分割和特征提取的潜在低秩表示》

摘要：

低秩表示(Low-Rank Representation, LRR)是一种探索数据多个子空间结构的有效方法。通常选择观测数据矩阵本身作为字典，这是LRR的一个关键方面。然而，这种策略可能会降低性能，特别是当观察结果不充分和/或严重损坏时。因此，在本文中，我们建议使用观察到的和未观察到的隐藏数据来构建字典。我们证明了通过求解一个核范数最小化问题可以近似地恢复隐藏数据的影响，这个核范数最小化问题是凸的，可以有效地求解。所提出的方法称为Latent Low-Rank Representation (LatLRR)，它将子空间分割和特征提取无缝地集成到一个统一的框架中，从而为子空间分割和特征提取提供了一个解决方案。作为一种子空间分割算法，LatLRR是flrr的增强版，其性能优于现有的子空间分割算法。作为一种无监督特征提取算法，LatLRR能够鲁棒地从损坏的数据中提取显著特征，因此比利用原始数据向量作为特征进行分类的基准要好得多。与基于降维的方法相比，LatLRR对噪声具有更强的鲁棒性。

前言：先介绍LRR

X0是观测到的数据矩阵，A是字典学习矩阵，Z是系数矩阵。LRR通常只要求字典的采样足够多就行，并且选择观测数据矩阵本身X0作为字典学习（如下图），因此当观测不足的时候，很可能降低性能。

 

当子空间独立，数据无噪声且采样充足时，对于LRR的低秩表示解Z*=Shape Iteration Matrix.

为了解决LRR采样不足的问题，提高对噪声的鲁棒性

从LRR中推广到LatLRR，先考虑下面的问题

其中使用XO和XH的串联(沿列)作为字典，XO是观察到的数据矩阵，XH表示未观察到的隐藏数据。如果A = [XO,XH]总是足以表示子空间，则上述公式可以解决数据采样不足的问题。设Z * O,H为上述问题的最优解，且Z * O,H = [  Z * O|H  ;  Z * H|O ]是它的逐行划分，使得Z * O|H和Z * H|O分别对应于XO和XH，则Z * O|H是一个非平凡的块对角矩阵，即使XO的采样不足也能准确地揭示子空间的真隶属性。

为了恢复隐藏效应，对上述问题求解 

 

LatLRR: 

 

核心思想：

仅利用观测数据XO恢复亲和矩阵Z * O|H的问题，即隐数据效应的恢复问题。

前提：

所有数据都从相同的低秩子空间采样。

模型：

其中L1-范数为表征稀疏噪声E的，设Z∗O,H = [ Z∗O|H ; Z∗H |O ]是最优解(关于变量Z)， Z∗O |H是对应于XO的子矩阵，那么我们的目标是仅使用观测数据XO来恢复Z∗O |H。由于

 

隐藏效应：

令L * H | O = UΣVH^TVHΣ^−1U^T,那么隐藏效应可以用一个简单的公式来描述

因此，Z * O|H和L * H |O都是低秩的，我们可以通过最小化来恢复Z * O |H

 

我们将秩函数作为核范数放宽，这是秩最小化问题的一种常见做法，从而有以下凸优化问题: 

在这里，为了便于表示，我们通过分别用X, Z和L替换XO, Z O|H和L H|O来简化符号。假设X的大小为d × n，则Z和L分别为n × n和d × d。上式中没有参数来平衡Z和L的强度，这是因为这两个部分的强度是自动平衡的。

噪声的情况：

当参数λ趋近于∞时，转换为没有噪声的情况

算法： 

总结：

LatLRR是LRR到特殊的推广，对噪声以及隐藏数据有更好的处理，LatLRR的提出将子空间分割和特征提取无缝地集成到一个统一的框架中，为我们提供了一种鲁棒的子空间分割算法和鲁棒的特征提取算法。作为一种子空间分割算法，LatLRR可以看作是LRR的增强版，因此可以得到更准确的分割结果。LatLRR是一种无监督特征提取算法，可以自动从损坏的数据中提取显著特征，从而产生有效的特征进行分类。

前景：

个人感觉子空间分割最直接的对应了聚类，而特征提取在图学习中会有很多的应用，这也是我读这篇文章的原因。