基于正交局部保持投影和极大似然估计的特征提取

基于正交局部保持投影和极大似然估计的特征提取

正交局部保持投影(orthogonal locality preserving projection, OLPP)，相对于局部保持投影(locality preserving projection, LPP)，能够保持投影向量间的正交关系。极大似然估计则用于估计数据的本征维度。
本文参考：Zhang, J., Chen, M., Chen, H., Hong, X., & Zhou, D. (2019). Process Monitoring Based on Orthogonal Locality Preserving Projection with Maximum Likelihood Estimation. Industrial & Engineering Chemistry Research, 58(14), 5579–5587.
正文链接
预印版链接

OLPP介绍

LPP是拉普拉斯特征映射（Laplacian Eigenmaps，LE）的线性化近似，能够确保样本的几何拓扑结构。在LPP 基础上，OLPP能保证基向量的正交性。当我们选择最大特征值对应的特征向量时，OLPP 与PCA是等价的。已知数据 $\mathbf{X}$, 样本${\mathbf{x}}_i\in {\mathcal{R}}^m,i=1,\cdots ,N$，
OLPP算法包括以下步骤：
1.利用KNN方法建立近邻图；
2. 计算权重矩阵S，${\mathbf{S}}_{ij}=e^{-\frac{{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }^2}{q}}$, $q$ 由用户定义。定义对角矩阵$\mathbf{D}$, 对角线元素${\mathbf{D}}_{ii}=\sum _{j=1}^N{\mathbf{S}}_{ji}$。在图论中， 拉普拉斯矩阵$\mathbf{L}$为$\mathbf{L}=\mathbf{D}-\mathbf{S}$。OLPP的目标函数为
{ a 1 , . . . , a l } = min ⁡ a { f ( a ) = a T X L X T a a T X D X T a } \{\boldsymbol{a}_1, ...,\boldsymbol{a}_l \}=\min_{\boldsymbol{a}} \{f(\boldsymbol{a} )=\frac{ {\boldsymbol a}^{\rm T}\boldsymbol{X}\boldsymbol{L} \boldsymbol{X}^{\rm T} {\boldsymbol a} }{ {\boldsymbol a}^{\rm T}\boldsymbol{X}\boldsymbol{D} \boldsymbol{X}^{\rm T} {\boldsymbol a} } \} { a1​,...,al​}=amin​{ f(a)=aTXDXTaaTXLXTa​}
3. 计算正交局部投影向量； 正交局部投影向量表示为 { a 1 , ⋯   , a k } {\left\{ { {\boldsymbol a_1}, \cdots ,{\boldsymbol a_k}} \right\}}