李宏毅机器学习2016 第十三讲 无监督学习之非线性降维：流型学习（Mainfold Learning）

视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩

课程资源：Hung-yi Lee

课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5

我的第十二讲笔记：李宏毅机器学习2016 第十二讲 无监督学习：线性维数约减

Unsupervised Learning：Neighbor Embedding

1.流型学习（Manifold Learning）

流型学习主要思想是将高维的数据映射到低维，同时能够保持原数据的本质特征。

其基于一种假设：高维数据其实是一种低维数据嵌在高维空间中。

流型学习能够将其摊平在低维空间中。

2.局部线性嵌入（Locally Linear Embedding，LLE）

其主要思想是：假设数据中每个点可以由其近邻的几个点重构出来。降到低维，使样本仍能保持原来的重构关系，且重构系数也一样。

目的是找到基于  的约束约减后的  ,方法是保持  不变，通过最小化目标函数来找到  .

3.拉普拉斯特征映射（Laplacian Eigenmaps,LE）

其主要思想是：将数据映射到低维，且保持点之间的（相似度）距离关系。即在原空间中相距较远的点，投影到低维空间中，希望它们之间仍相距较远。反之亦然。

在十一讲半监督学习中的平滑性假设，基于图的方法。

基于此设计出普拉斯特征映射，通过最小化S来找到满足要求的z

4.t-SNE（T-distributed Stochastic Neighbor Embedding）

先前的方法只考虑了相似的数据距离要近，而没有考虑到不同点要尽可能分开。

t-SNE方法是：

最后可以通过对z微分，用梯度下降（gradient descent）的方法来求出z。

t-SNE在可视化上非常有用，通常的做法是先通过PCA降维，再使用t-SNE。

5.总结

本章主要讲了流型学习，一些非线性降维的方法，包括局部线性嵌入（Locally Linear Embedding，LLE）、拉普拉斯特征映射（Laplacian Eigenmaps,LE）以及t-SNE（T-distributed Stochastic Neighbor Embedding）。