经典子空间学习的多视图学习方法——可鉴别的局部投影（Discriminant Locally Projective Analysis，DLPA）

可鉴别的局部投影（Discriminant Locally Projective Analysis，DLPA）是一种用于模式识别和机器学习中的降维技术，尤其适用于处理具有复杂结构和非线性关系的数据集。

DLPA结合了局部投影的思想和鉴别分析的目标，旨在保留数据的局部几何结构的同时，增强不同类别的可分性。

DLPA的核心思想

DLPA试图找到一个投影，使数据在低维空间中既保持局部结构的连贯性，又能最大程度地分离不同类别的数据。
它通常被视为局部保持投影（Locally Preserving Projections, LPP）和线性鉴别分析（Linear Discriminant Analysis, LDA）的结合体。

公式和解释

DLPA的公式主要围绕构建一个最优投影矩阵 $P$，该矩阵通过最大化类间差异和最小化类内差异来定义。DLPA的目标函数可以表达为：

$$\underset{P}{\max }\frac{\text{tr}(P^T{S}_{b}P)}{\text{tr}(P^T{S}_{w}P)}$$

其中：

• $S_b$ 是类间散度矩阵，代表不同类别中心之间的差异；
• $S_w$ 是类内散度矩阵，代表同一类别内部的差异；
• $P$ 是投影矩阵，它将高维数据映射到低维空间；
• $\text{tr}(\cdot )$ 是矩阵的迹，即对角线元素之和。

类内散度矩阵 $S_w$

类内散度矩阵 $S_w$ 描述了同一类别内部样本的分布情况，我们希望这个矩阵越小越好，意味着同一类内的样本点在投影后的空间中更加聚集。

$$S_w=\sum _{i=1}^C\sum _{x_j\in {\mathcal{C}}_i}(x_j-{\mu }_i)(x_j-{\mu }_i{)}^T$$

• $C$ 是类别数；
• ${\mathcal{C}}_i$ 是第 $i$ 类的所有样本组成的集合；
• $x_j$ 是属于第 $i$ 类的样本；
• ${\mu }_i$ 是第 $i$ 类的样本均值向量。

类间散度矩阵 $S_b$

类间散度矩阵 $S_b$ 描述了不同类别中心之间的距离，我们希望这个矩阵越大越好，这意味着不同类别的样本点在投影后的空间中更加分离。

$$S_b=\sum _{i=1}^C{N}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$

• $N_i$ 是第 $i$ 类的样本数；
• ${\mu }_i$ 是第 $i$ 类的样本均值向量。
• $\mu$ 是所有样本的总均值向量。

DLPA的优化

DLPA的优化目标是找到一个 $P$，它能够最大化类间差异和最小化类内差异。这通常通过求解广义特征值问题来实现：

$$S_{b}P=\lambda S_{w}P$$

其中 $\lambda$ 是广义特征值。为了保证投影方向的最优性和正交性，我们会选择前 $d$ 个最大的特征值对应的特征向量作为投影矩阵 $P$ 的列向量，其中 $d$ 是我们希望降维到的维度。

小结

DLPA是一种有效的降维方法，尤其适用于非线性数据集的分类任务。通过优化类内和类间散度矩阵的比例，DLPA能够找到一个既能保持数据局部结构，又能增强不同类别可分性的低维表示。

这种技术在处理诸如人脸识别、文本分类和生物信息学等领域的问题时特别有用。