降维方法

LLE

相关论文解读：

论文

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.456.5279&rep=rep1&type=pdf

解读1

https://zhuanlan.zhihu.com/p/47304678
LLE主要思想为两个过程 ：高维空间近邻线性重构 & 低维空间嵌入表示保持近邻关系。

前者利用了数据的局部性，考虑了数据点与其近邻的关系。这种思想很常见，比如在时间序列分析中一个时刻的数据往往和其前面几个时刻的数据相关；通过数据点近邻关系构建一张图的思想也很常见，比如后面介绍的Laplacian Eigenmaps。另外，LLE和NCA也有一定的相似之处，回顾一下NCA，NCA是有监督的、基于Stochastic 1-NN分类器、利用可学习的马氏距离来学习相似度、使用Leave-One-Out验证方法来训练的一种降维和度量学习的方法（更多可以参考《Neighbourhood Component Analysis》）。从这个角度，LLE的第一步做的是利用k-NN解决多变量回归问题（利用近邻样本拟合目标样本的过程是一个回归问题）。
后者主要思想是低维空间数据点的某些统计特性和高维空间的一致。这种思想在SNE和T-SNE中得到了充分的体现。另外，在很多生成模型（Generative Model）里面，有很多会利用这种思想。比如，在纹理合成（Texture Synthesis）任务中，给定一张纹理图片，要生成一个和这张纹理图有一样的风格但不完全相同的纹理图，很经典的一种做法是：先生成一张随机图片，然后经过一些特征提取过程（传统特征描述子 & 神经网络），得到一个低维空间的表示，根据这个表示计算一些统计量（比如Gram Matrix），优化目标是使这个随机图的统计量要和目标纹理图的统计量尽可能一致，构建平方和误差然后更新随机图，使误差越来越小即可。

解读2

https://blog.csdn.net/qq_35771020/article/details/87928517