自我表达子空间图构建方法

自我表达子空间图构建方法

自我表达子空间图构建方法是一种用于数据分析和机器学习的技术，它通过将数据点 表示为其他数据点的线性组合来揭示数据内部的结构。这种方法在图像处理、模式识别、 聚类分析等领域有广泛的应用。

1. 数据准备

我们有一组数据点 X = { x 1 , x 2 , . . . , x n } \mathbf{X} = \{\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_n\} X={x1​,x2​,...,xn​}，其中每个数据点 ${\mathbf{x}}_i$ 是一个 d 维向量。

2. 自我表达矩阵

目标是找到一个系数矩阵 $\mathbf{C}$，使得每个数据点 ${\mathbf{x}}_i$ 可以由所有数据点 $\mathbf{X}$ 的线性组合来近似：
$${\mathbf{x}}_i\approx \sum _{j=1}^n{c}_{ij}{\mathbf{x}}_j$$

这里，$c_{ij}$ 表示数据点 ${\mathbf{x}}_j$ 对于重建 ${\mathbf{x}}_i$ 的贡献权重。整个数据集可以写成矩阵形式：
$$\mathbf{X}\approx \mathbf{XC}$$

3. 优化问题

为了找到合适的 $\mathbf{C}$，我们需要解决一个优化问题。通常会加上一些正则化项来避免过拟合，并且保证解的稀疏性或平滑性。一个常见的形式是最小化如下目标函数：
$$\underset{\mathbf{C}}{\min }||\mathbf{X}-\mathbf{XC}|{|}_F^2+\lambda ||\mathbf{C}|{|}_p$$

• $||\cdot |{|}_F$ 是Frobenius范数，衡量了重构误差。
• $\lambda$ 是正则化参数。
• $||\cdot |{|}_p$ 是Lp范数，$p$ 可能取值1（鼓励稀疏）或2（鼓励平滑）。

4. 约束条件

在某些情况下，还会加入额外的约束条件，比如：

• 对角线元素为0：$c_{ii}=0$，确保数据点不使用自身进行重建。
• 非负性：$c_{ij}\ge 0$，适用于非负矩阵分解等场景。

5. 解决优化问题

这个优化问题可以通过多种方法求解，包括但不限于梯度下降法、交替最小二乘法(ALS)、凸优化算法等。选择哪种方法取决于具体的问题设置和对计算效率的要求。

6. 子空间图构建

一旦得到了系数矩阵 $\mathbf{C}$，就可以基于这些系数来构造图。对于每一个数据点 ${\mathbf{x}}_i$，它可以与那些对其重建贡献较大的数据点形成连接。这可以通过设定阈值或者保留前k个最大的 $|c_{ij}|$ 来实现。

7. 应用

得到的图可用于进一步的数据分析任务，如聚类、降维、半监督学习等。
得到的图可用于进一步的数据分析任务，如聚类、降维、半监督学习等。