关于t-SNE降维方法
论文原图是这样的:
image.png
1. 什么是t-SNE:
全名是t-distributed Stochastic Neighbor Embedding(t-SNE),翻译过来应该可以叫学生t分布的随机邻点嵌入法。
t-SNE将数据点之间的相似度转换为概率。原始空间中的相似度由高斯联合概率表示,嵌入空间的相似度由“学生t分布”表示。t-SNE在一些降维方法中表现得比较好。因为t-SNE主要是关注数据的局部结构。
通过原始空间和嵌入空间的联合概率的Kullback-Leibler(KL)散度来评估可视化效果的好坏,也就是说用有关KL散度的函数作为loss函数,然后通过梯度下降最小化loss函数,最终获得收敛结果。
正式点来描述就是:
给定一组
个点
, t-SNE 首先计算
和
之间的相似度
。这个相似度公式定义为:
对于每个
都有
,这里就是用的高斯核了,只涉及到一个参数
.
for some parameter
. Intuitively, the value
measures the `similarity' between points
and
. t-SNE then aims to learn the lower dimensional points
such that if
, then