我们在对数据进行降维时,比较常用的方法有LLE(局部线性嵌入),LE(拉普拉斯映射)还有t-SNE,前两种主要考虑高维中距离相近的点在低维中还要保持距离相近,但是没有考虑高维中距离较远的点在低维是怎样的情况,而t-SNE恰好解决了这个问题,t-SNE的目标是高维中距离相近的点低维中还要相近,高维中距离较远的点,低维中距离要被拉大。
t-SNE将相似度转换为一种概率,左边的高维的,右边是低维的,力求两个相似度接近。下边的公式叫做相对熵或者KL距离,当两个概率越来越近时,KL距离会无限接近于0。
我们绘制一个图像,红色线是高维的距离和相似度的图像,使用指数函数,这是因为指数函数下降比较快,当距离一拉开相似度就掉下来了,蓝色线是低维的距离和相似度的图像。我们发现上下两个点,上边的点在高维中距离较近相似度较高,所以低维中距离变化不大,下边的点在高维中距离较远相似度较低,所以一降维距离就被拉开了,因此达到目标效果。