李宏毅2020机器学习 【学习笔记】 P57 Unsupervised Learning:Neighbor Embedding

目录

Manifold Learning 流形学习

Locally Linear Embedding LLE

Think Globally, Fit Locally. 选取的邻居数会影响 LLE 的结果

Laplacian Eigenmaps 拉普拉斯特征映射

T-SNE

---

感谢B站up主搬运的课程：

【李宏毅2020机器学习深度学习(完整版)国语】 https://www.bilibili.com/video/BV1JE411g7XF/?share_source=copy_web&vd_source=262e561fe1b31fc2fea4d09d310b466d

---

Manifold Learning 流形学习

【一种机器学习方法，用于将高维数据映射到低维空间，以便更好地理解和可视化数据的内在结构和关系】

在上一节中，我们也有提到， PCA 是线性的，无法对这样在三维空间中卷曲的“二维”平面处理。

我们注意到在这样的卷曲在高维空间中的低维面直接取 euclidean distance 欧氏距离或许是不对的（如上图所示），或许更近的点并没有更远的点更相似。

Manifold Learning 做的事情就是将其展开（非线性地降维），摊平再做欧氏距离才是合理的。

Locally Linear Embedding LLE

像 LLE 这种方法，就算不知道  、  怎么表示，只知道  也可以求得  、  

Think Globally, Fit Locally. 选取的邻居数会影响 LLE 的结果

Laplacian Eigenmaps 拉普拉斯特征映射

【是一种降维算法】

具体参考

Semi-supervised Learning 中的 Graph-based Apporoach

李宏毅2020机器学习 【学习笔记】 P22Semi-supervised learning__bh的博客-CSDN博客

如果将该方法拓展到 Unsupervised Learning 中

直接让  最小的话，直接无脑取  即可（因为 Semi-supervised 中 labeled data 的存在，不会出现这样的情况），所以需要对  加上约束条件。

像这样找出  之后，再做 Clustering ，这样的方法叫做 Spectral clustering 谱聚类

T-SNE

前面的方法只假设了相似的点要在一起，没有假设不相似的点要分开，就如同图中的 LLE 结果都挤在一堆

都归一化可以忽视高维表示  和低维表示  尺度的差距

距离较远的点会拉得更远