笔记：Learning Robust and Discriminative Subspace With Low-Rank Constraints

Li, S. and Y. Fu, Learning Robust and Discriminative Subspace With Low-Rank Constraints. IEEE Transactions on Neural Networks and Learning Systems, 2016. 27(11): p. 2160-2173.
本文是这篇 Trans. on NNLS 期刊论文的笔记，主要是对文中的理论方法进行展开详解。本人学术水平有限，文中如有错误之处，敬请指正。

摘要： 此文目标是学习健壮的、有区分的子空间，从噪声数据中。子空间学习大量用于提取有辨别力的特征，用于分类。此文提出的一个由判别力的子空间学习方法 supervised regularization-based robust subspace (SRRS) 方法，结合了 low-rank 约束。SRRS 找出噪声数据的 low-rank 表示，同时从恢复的数据中学习出有判别的子空间。监督约束函数使用了标签信息，增强了子空间的区分度。此方法是一个带约束的 rank 最小化问题，设计采用増广 Lagrange 乘子法解决。强调，此文学习了一个低维的子空间，并显示地结合了监督信息。

1 简介

简短地提及了多种子空间学习的方法，PCA，LDA，LPPs，NPE，LSDA，DLA。其基本思想是找到一个低维的投影，满足某些性质。PCA 是非监督的，使得投影后的样本的方差最大化，而 LPP 和 NPE 保留了样本的局部关系。有了类别标签之后，有监督的方法适合于分类。LDA 旨在找到一个投影，同时使样本的类间差异最大，而类内的差异最小。它提取了有判别性的特征用于分类。这些方法在干净的数据上是效果很理想，但是当有一定的噪声和变化之后，其效果就变差了。

Sparse representation (SR) 稀疏表达是经典的，被用于处理噪声数据的问题。其一些方法没有考虑到数据的全局结构，它们对噪声不鲁棒，而且不能够提取出干净的数据。

Low-rank 模型是 SR 的扩展，最近被关注，可以恢复出隐含的数据结构。当数据只属于一个类别时， RPCA 就通过最小化矩阵的秩，恢复出原始的数据。其变形有 LRR 和 Latent LRR 。low-rank 模型通常有很大的计算负担，一个分而治之 （divide and conquer）的思想 1 2，使它们能扩展到大数据集。

目前，很少有方法在 low-rank 学习中使用标签信息；传统的子空间学习方法有假设数据的分布，对一些噪声数据很敏感。此文平衡了监督子空间学习和 low-rank 模型用于分类的优点。

此文的主要贡献有：

• 此文找出一个判别性的、强健的子空间，对噪声、姿势、光照变化不敏感，用于降维和分类。

• 提出的 supervised regularization-based robust subspace (SRRS) 方法，从噪声的数据中学习到 low-rank representation，同时从干净的数据里学习一个判别性的子空间。

• 为了提升分类的性能，自然加入了类别的标签信息，于目标函数的监督约束中。

2 相关工作

略

3 SRRS

3.1 模型构建

$X$ 表示属于 $c$ 类的 $n$ 个样本，$X = [x_1, x_2, \cdots, x_n]$。有了一个完备基矩阵 $A = [a_1, a_2, \cdots, a_m] \in \mathbb{R}^{d \times m}$，用基的线性组合表示样本

$$\begin{equation} \tag{1} X = A Z， \end{equation}$$
其中 $Z \in \mathbb{R}^{m \times n}$ 是系数。为了找出一个鲁棒的子空间，首先定义投影的低维的样本 $\tilde{X} = P^T X = P^T A Z$ 。接着，依次结合低秩约束和监督约束来学习投影 $P$ 。已知 $n$ 个样本属于 $c$ 个类别，有 $n \gg c$ ; 系数矩阵 $Z$ 应该是 low-rank 的；换一句话说， $Z$ 中的系数向量（属于同样的类别）应该是非常相关的。

因为标签信息对于分类是非常重要的，此文设计了一个监督约束项 $f(P,Z)$ 基于 Fisher criterion 3，$f(P,Z) = [\text{tr}(S_B(P^T AZ)) / \text{tr}(S_W(P^T AZ))]$，其中 $\text{tr}(\cdot)$ 是迹函数，$S_B(\cdot), \ S_W(\cdot)$ 分别是类间散度和类内散度，

$$\begin{align} S_B(P^T AZ) &= S_B(\tilde{X}) = \sum_{i=1}^{c} n_i (m_i - m)(m_i -m)^T, \tag{2} \\ S_W(P^T AZ) &= S_W(\tilde{X}) = \sum_{i=1}^{c} \sum_{j=1}^{n_i} (\tilde{x}_{ij} - m_i)(\tilde{x}_{ij} -m_i)^T, \tag{3} \end{align}$$
其中 $m_i$ 是样本 $\tilde{X}$ 中第 $i$ 类的均值， $m$ 是所有样本 $\tilde{X}$ 的均值， $\tilde{x}_{ij}$ 是所有数据中第 $i$ 类中、第 $j$ 个样本。通过 Fisher criterion，投影后的样本，不同类别之间间隔较远，相同类别的样本更接近。而且，Guo et al. 4 指出迹的比值问题可以转化为迹的差问题，所以重写 $\bar{f}(P,Z) = [\text{tr}(S_W(P^T AZ)) - \text{tr}(S_B(P^T AZ))]$ 。基于此，提出优化目标函数
$$\begin{equation} \tag{4} \min_{Z,P} \ \text{rank}(Z) + \lambda_1 \bar{f}(P,Z), \ \ \mathrm{s.t.} \ X = AZ, \end{equation}$$
其中，参数 $\lambda_1$ 平衡上述两项的作用。

但是上述问题很难直接求解，因为 $\text{rank}(\cdot)$ 是非凸的。于是核范数（矩阵的奇异值之和）用于代替它，问题变成了

$$\begin{equation} \tag{5} \min_{Z,P} \ ||Z||_* + \lambda_1 \bar{f}(P,Z), \ \ \mathrm{s.t.} \ X = AZ. \end{equation}$$
此文也注意到， $\bar{f}(P,Z)$ 关于 $Z$ 也是非凸的，所以可以加入一个额外的项，保证凸性
$$\begin{equation} \tag{6} \hat{f}(P,Z) = \text{tr}(S_W) - \text{tr}(S_B) + \eta || P^T A Z ||_F^2 \ . \end{equation}$$
此文将上式转化为矩阵形式，（Appendix 理论上证明 $\hat{f}(P,Z)$ 关于 $Z$ 的凸性）
$$\begin{equation} \tag{7} \hat{f}(P,Z) = || P^T A Z (I - H_b) ||_F^2 - || P^T A Z (H_b - H_t) ||_F^2 + \eta || P^T A Z ||_F^2 \ , \end{equation}$$
其中 $\eta$ 是权衡参数， $||\cdot||_F^2$ 是 Frobenius 范数， $I \in \mathbb{R}^{n \times n}$ 是单位矩阵， $H_b, H_t$ 是两个常系数矩阵。具体地，当 $x_i,x_j$ 属于同一类别时， $H_b(i,j) = (1/n_c)$， $n_c$ 是一个类别中样本的个数；否则，当 $x_i,x_j$ 不属于同一类别时， $H_b(i,j) = 0$ 。而 $H_t(i,j) = (1/n)$ 。现在监督约束项 $\hat{f}(P,Z)$ 是关于 $Z$ 凸的。

为了保证子空间的投影是正交的，$P^T P = I$ 约束也加入，其中 $I \in \mathbb{R}^{p \times p}$ 。现在写出新的优化目标函数

$$\begin{align} \min_{Z,P} \ & ||Z||_* + \lambda_1 \left( || P^T A Z (I - H_b) ||_F^2 - || P^T A Z (H_b - H_t) ||_F^2 + \eta || P^T A Z ||_F^2 \right) \\ \mathrm{s.t.} \ & \ X = A Z, \ P^T P = I \ . \tag{8} \end{align}$$
此目标函数关于 $P$ 还不是凸的，因为正交约束 $P^T P = I$ 。此文采用 $\ell_{2,1}$ 范数（ $||E||_{2,1} = \sum_{j=1}^{n} \sqrt{\sum_{i=1}^{d} ([E]_{ij})^2}$），模拟数据中包含的噪声。它有如下 3 个性质：1) $|| \alpha E||_{2,1} = |\alpha| \cdot ||E||_{2,1}$，其中 $\alpha$ 是一个实标量；2) 三角不等式， $||B+E||_{2,1} \leq ||B||_{2,1} + ||E||_{2,1}$；3) 存在零向量，如果 $||E||_{2,1} = 0$，那么 $A = 0$。它使得 $E$ 中的某一些列为 0，这个假设在此文中就是某些数据被损坏，而另一些没有（数据矩阵 $X$ 中，列代表样本的个数）。我们有了约束 $X = AZ + E$，将目标函数重写
$$\begin{align} \min_{Z,E,P} \ & ||Z||_* + \lambda_2 ||E||_{2,1} + \lambda_1 \left( || P^T A Z (I - H_b) ||_F^2 - || P^T A Z (H_b - H_t) ||_F^2 + \eta || P^T A Z ||_F^2 \right) \\ \mathrm{s.t.} \ & \ X = A Z + E, \ P^T P = I \ . \tag{9} \end{align}$$

3.2 优化算法

此文采用经典的増广 Lagrange 乘子法 (inexact ALM algorithm) 5。为了求解方便，加入一个松弛变量 $Z = J$，原问题转化为

minZ,E,P,J s.t. ||J||∗+λ2||E||2,1+λ1(||PTAZ(I−Hb)||2F−||PTAZ(Hb−Ht)||2F+η||PT<