视频链接:李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩
课程资源:Hung-yi Lee
课程相关PPT已经打包命名好了:链接:https://pan.baidu.com/s/1c3Jyh6S 密码:77u5
我的第十二讲笔记:李宏毅机器学习2016 第十二讲 无监督学习:线性维数约减
Unsupervised Learning:Neighbor Embedding
1.流型学习(Manifold Learning)
流型学习主要思想是将高维的数据映射到低维,同时能够保持原数据的本质特征。
其基于一种假设:高维数据其实是一种低维数据嵌在高维空间中。
流型学习能够将其摊平在低维空间中。
2.局部线性嵌入(Locally Linear Embedding,LLE)
其主要思想是:假设数据中每个点可以由其近邻的几个点重构出来。降到低维,使样本仍能保持原来的重构关系,且重构系数也一样。
目的是找到基于 的约束约减后的 ,方法是保持 不变,通过最小化目标函数来找到 .
3.拉普拉斯特征映射(Laplacian Eigenmaps,LE)
其主要思想是:将数据映射到低维,且保持点之间的(相似度)距离关系。即在原空间中相距较远的点,投影到低维空间中,希望它们之间仍相距较远。反之亦然。
在十一讲半监督学习中的平滑性假设,基于图的方法。
基于此设计出普拉斯特征映射,通过最小化S来找到满足要求的z
4.t-SNE(T-distributed Stochastic Neighbor Embedding)
先前的方法只考虑了相似的数据距离要近,而没有考虑到不同点要尽可能分开。
t-SNE方法是:
最后可以通过对z微分,用梯度下降(gradient descent)的方法来求出z。
t-SNE在可视化上非常有用,通常的做法是先通过PCA降维,再使用t-SNE。
5.总结
本章主要讲了流型学习,一些非线性降维的方法,包括局部线性嵌入(Locally Linear Embedding,LLE)、拉普拉斯特征映射(Laplacian Eigenmaps,LE)以及t-SNE(T-distributed Stochastic Neighbor Embedding)。