可视化降维方法学习笔记

可视化降维方法学习笔记

写于博主在实验室无所事事摸鱼摸了一年之后。老板终于看不下去了，强硬地push博主想一个小课题开始做。博主痛定思痛，决定洗心革面，重新做人。

之前对各种可视化的方法一直只是了解一个大概。正好这周没有ddl，决定好好学习一下。

1. SNE， t-SNE， LargeVis

搜到bindog的这篇文章，讲解SNE,t-SNE和LargeVis。虽然公式的大小有些鬼畜，但是内容非常棒，讲解得既详细，又清楚，非常适合快速入门，感觉一晚上学到了很多。

简单来说，SNE方法里，高维空间里的点x，和其在低维空间里x的映射x’，在度量x和x’的相似程度的时候，我们用一个高斯分布来取代x，用一个高斯分布来取代x’。取代x的高斯分布描述了高维空间中其他所有点和点x之间的距离关系；同样的，取代x’的高斯分布描述的是低维空间里其他所有点和x’之间的距离关系。x和x’的相似程度被转化成两个高斯分布的相似程度，用KL散度就可以直接描述。

在t-SNE里面，比较重大的改进是用t-分布取代x’，解决了SNE中的crowding problem，使得在高维空间中距离较远的两个点在低维空间中的距离也比较远。其次是解决了不对称问题。

LargeVis是对t-SNE效率上的改进。一是采用了高效的方法来KNN图。二是采用了边采样。

此处顺便安利peghoty写的