可视化降维方法学习笔记
写于博主在实验室无所事事摸鱼摸了一年之后。老板终于看不下去了,强硬地push博主想一个小课题开始做。博主痛定思痛,决定洗心革面,重新做人。
之前对各种可视化的方法一直只是了解一个大概。正好这周没有ddl,决定好好学习一下。
1. SNE, t-SNE, LargeVis
搜到bindog的这篇文章,讲解SNE,t-SNE和LargeVis。虽然公式的大小有些鬼畜,但是内容非常棒,讲解得既详细,又清楚,非常适合快速入门,感觉一晚上学到了很多。
简单来说,SNE方法里,高维空间里的点x,和其在低维空间里x的映射x’,在度量x和x’的相似程度的时候,我们用一个高斯分布来取代x,用一个高斯分布来取代x’。取代x的高斯分布描述了高维空间中其他所有点和点x之间的距离关系;同样的,取代x’的高斯分布描述的是低维空间里其他所有点和x’之间的距离关系。x和x’的相似程度被转化成两个高斯分布的相似程度,用KL散度就可以直接描述。
在t-SNE里面,比较重大的改进是用t-分布取代x’,解决了SNE中的crowding problem,使得在高维空间中距离较远的两个点在低维空间中的距离也比较远。其次是解决了不对称问题。
LargeVis是对t-SNE效率上的改进。一是采用了高效的方法来KNN图。二是采用了边采样。
此处顺便安利peghoty写的