CdLPP的学习与实现

最近看了论文Class-wise feature extraction technique for multimodal data，论文中提出了一种对LPP（局部保留投影 ）的改进方法，称之为CdLPP（ Class-dependent Locality Preserving Projections ）。
先讲讲LPP，定义亲和矩阵A为N*N的矩阵，A（i,j）表示样本i和样本j的相似度

${ \chi }_{ i }^{ k }$ 表示${ \chi }$的第k近邻
接下来，计算以下矩阵：

并求解
令T1 = X*L*X’ T2 = X*D*X’ 即为求T = T1/T2的特征值和特征向量
X为样本数据构成的矩阵
求出特征值和特征向量后，取其中最小的r个，即可得到将n维数据投影到r维的投影矩阵。

接下来是CdLPP：

根据论文描述，分为以下步骤：
1.将训练集${\pi}$根据样本的c个类别划分为$\pi ={ \pi }_{ 1 }\cup { \pi }_{ 2 }\cup { \pi }_{ 3 }\cup \cdots \cup { \pi }_{ c }$
2.对每个类${ \pi }_{ i }$都运行LPP得到投影矩阵${ T }_{ LPP }^{ i }$
3.使用类间负散布矩阵：

${ S }_{ n }^{ i }$为负散布矩阵，计算时使用的是$i$这一类的均值和除$i$之外所有其他类的样本计算
求${ T }_{ n }^{ i }$的过程和PCA（主成分分析）差不多，就是求特征值和特征向量，得到投影矩阵，即对${ S }_{ n }^{ i }$进行求特征值和特征向量的处理，得到${ T }_{ n }^{ i }$

4.对$\left[ { T }_{ n }^{ i },{ T }_{ LPP }^{ i } \right]$使用施密特正交化方法，得到投影矩阵${ T }_{ CdLPP }^{ i }$

代码的验证和实现随后放上