线性降维算法（LPP、NPE、ONPP）

一.局部保持投影算法（LPP）

定义相似度矩阵Sij如下所示：

LPP通过构建空间中各样本对之间的远近亲疏关系，并在降维投影中尽可能地去保留这样的亲疏关系，从而保留数据的局部结构。

优化目标函数：

                                        

优化过程：        

                        

加上归一化限制：                

利用拉格朗日乘子法：

                ​​​​​​​        

对W求导并令其为0：

        ​​​​​​​        ​​​​​​​        ​​​​​​​

则结果可以转化为求解以下广义特征值问题：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        

W由前k个最小特征值对应的特征向量组成（不过要注意最小特征值不能为0，要大于一定的精度，比如,不是趋于零）

几何意义的理解：使得高维空间中k近邻的点在低维中也能尽可能接近。

二.邻域保持嵌入（NPE）

NPE 作为局部线性嵌入（LLE）算法的线性逼近，它不仅能够捕捉流形的非线性结构，还保留了线性性质，能够进行新样本的泛化。同时尽可能保留数据的内在结构和关键信息。（LLE可以看我的另外一篇非线性算法的博客）

非线性降维算法（Isomap、LLE、LDE）-CSDN博客

主要思想与LLE算法基本一致，主要区别在于NPE将降维后的嵌入表示为 ,则原来LLE第二步重构的结果 可以表示为 ，同时我们同样令 ，则优化目标可以化为 ；

同时加上原来的约束：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

利用拉格朗日乘子法转化为求解此广义特征值问题：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

三.正交邻域保持投影(ONPP)

ONPP算法与局部线性嵌入（LLE）算法原理也十分相近，主要的区别就是它在第二步重构的时候将其投影转变为线性的而且具有正交性。

在LLE算法我们可以知道第二步优化结果为 

ONPP将Y用低维表示为 ，为使投影具有正交性，添加限制条件 ；

这里令 ，则原结果可化为 ，加上原来的约束

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​         

同样用拉格朗日乘子法加上两个限制条件即可以求解出最佳投影矩阵V。

----- 以上为本人学习机器学习这门课总结出的一些知识点，有错误或者疑问可以评论区交流，欢迎指正！！！