深度学习-使用t-SNE对MNIST数据集进行分类

        我们在对数据进行降维时，比较常用的方法有LLE（局部线性嵌入），LE（拉普拉斯映射）还有t-SNE，前两种主要考虑高维中距离相近的点在低维中还要保持距离相近，但是没有考虑高维中距离较远的点在低维是怎样的情况，而t-SNE恰好解决了这个问题，t-SNE的目标是高维中距离相近的点低维中还要相近，高维中距离较远的点，低维中距离要被拉大。

        t-SNE将相似度转换为一种概率，左边的高维的，右边是低维的，力求两个相似度接近。下边的公式叫做相对熵或者KL距离，当两个概率越来越近时，KL距离会无限接近于0。

 

 

        我们绘制一个图像，红色线是高维的距离和相似度的图像，使用指数函数，这是因为指数函数下降比较快，当距离一拉开相似度就掉下来了，蓝色线是低维的距离和相似度的图像。我们发现上下两个点，上边的点在高维中距离较近相似度较高，所以低维中距离变化不大，下边的点在高维中距离较远相似度较低，所以一降维距离就被拉开了，因此达到目标效果。