基于基追踪（Basis Pursuit，BP）的局部线性嵌入(Locally Linear Embedding, LLE)降维算法（LLE-BP）

第一篇博客，大家多多包涵

本博文思想出自2018年本人的毕业论文，原版论文由于我水平有限（本科毕业论文接到个科研课题，而当时并没有人做过这方面的研究），构思推导花了太多时间，使得写作时间只有三天，为了应付结题验收，因此论文的实验部分是凑数的（绝非本意），原版论文可以在这里下载点击打开链接

本篇博客尽量将这个“基于基追踪的局部线性嵌入降维算法”说清楚，当然本博客的实验是真实的

一、简介LLE

这里大致提一下LLE，相关资料很多了（Sam T. Roweis, Lawrence K. Saul. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5):2323-2326）

以流形学习为代表的非线性降维算法可以在低维空间保持一部分高维的几何结构特征。如下图

2000年时，流形学习中最具代表性的两种算法——局部线性嵌入和等距映射(Isometric Feature Mapping, ISOMAP)被提出。

LLE是一种非线性降维方法，通过构造一种从高维空间到低维空间的映射进行降维，而该映射的映象应能较好地保持原象的局部几何结构。

LLE的步骤主要分为三步：

1.确定局部：找到高维流形中每一个点的k个近邻点（毕竟是局部嘛）；

2.提取几何特征：将每一个点用它的近邻点线性表示出来（这个线性表示的系数，就是这个局部的几何结构）

3.找到满足几何特征的低维点集：在低维空间中找到跟高维流形中的点的个数相同的点，而这些点满足或尽量步骤2中提取的几何结构

如下图所示

具体到计算，如下所示，为简洁起见，这里不提供具体的推导过程而只揭示结果，有兴趣的读者可以参考我的论文或相关LLE资料

对于以上（2）的优化过程采用拉格朗日乘数法，得到单个点的系数向量wi的结果为

将wi组成系数矩阵W

则对（3）的结果为

二、LLE的问题