经典子空间学习的多视图学习方法——局部保持全局判别投影（Locally Preserving Global Discriminative Projection, LP-GDP）

局部保持全局判别投影（Locally Preserving Global Discriminative Projection, LP-GDP）是一种用于降维的线性投影方法，它结合了局部保持投影（LPP）和全局判别信息。

这种方法的目标是在保持数据局部结构的同时，最大化不同类别的可分性，从而在降维后的空间中提高分类性能。

核心思想

LP-GDP通过在降维过程中保留样本的局部几何结构，同时利用全局的类别信息来增强不同类别的可分性。

这种方法在处理高维数据时特别有效，因为它能够保持数据的内在局部邻域关系，同时利用判别信息来提升分类性能。

目标函数

LP-GDP的目标函数可以表示为：

$$\underset{W}{\min }\left\{\text{tr}(W^T{S}_{w}W)+\beta \cdot \text{tr}(W^T{S}_{b}W)\right\}$$

其中：

• $W$ 是我们要找的投影矩阵。
• $S_w$ 是类内散度矩阵，它描述了同一类别内部的样本差异。
• $S_b$ 是类间散度矩阵，它描述了不同类别之间的差异。
• $\beta$ 是一个调节参数，用于平衡局部保持和全局判别信息的重要性。

公式解析

类内散度矩阵 $S_w$

类内散度矩阵 $S_w$ 描述了同一类别内部的样本差异。在LPP中，它通常是基于样本的邻域图构建的，但在LP-GDP中，它可能被重新定义以考虑全局判别信息。

$$S_w=D-A$$

其中：

• $D$ 是度矩阵，对角线元素等于邻接矩阵 $A$ 中每一行的和，非对角线元素为0。度矩阵反映每个样本的权重或重要性。
• $A$ 是邻接矩阵，如果样本 $i$ 和 $j$ 是邻居，则 $A_{ij}>0$，否则 $A_{ij}=0$。邻接矩阵反映了样本之间的邻域关系。

类间散度矩阵 $S_b$

类间散度矩阵 $S_b$ 描述了不同类别之间的差异，它通常由类中心的距离构成。

$$S_b=\sum _{i=1}^C{N}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$

其中：

• $C$ 是类别数。
• $N_i$ 是第 $i$ 类的样本数。
• ${\mu }_i$ 是第 $i$ 类的样本均值向量。
• $\mu$ 是所有样本的总均值向量。

优化问题

LP-GDP的目标函数是一个二次优化问题，可以通过求解广义特征值问题来找到最优的投影矩阵 $W$。

$$S_{b}W=\lambda S_{w}W$$

其中 $\lambda$ 是广义特征值。通过求解这个特征值问题，我们可以找到 $W$，它能够最小化类内散度，同时最大化类间散度，从而在降维后的空间中提高不同类别的可分性。

小结

LP-GDP是一种综合了局部保持和全局判别信息的降维方法，它在保持数据局部结构的同时，利用类别信息来提高分类性能。
这种方法在处理具有复杂结构和类别信息的高维数据集时非常有效。