无监督学习（unsupervised learning） 3.近邻嵌入

无监督学习（unsupervised learning） 3.近邻嵌入

---

Neighbour Embedding

• manifold learning：流行学习，将高维空间摊平（降维）——欧氏距离
• Locally linear Embedding（LLE）：找到$x_i$的近邻$x_j$，它们的关系为$w_{ij}$，$min\sum\limits_{i} ||x_i - \sum\limits_{j}w_{ij}x_j||_2$
  
  • 降维：将$x_i,x_j$转成$z_i,z_j$，它们之间的关系$w_{ij}$不变，$min\sum\limits_{i} ||z_i - \sum\limits_{j}w_{ij}z_j||_2$ （《think globally，Fit locally》 ——JMLR 2013）
• Laplacian Eigenmaps：Graph-based approach，若两个向量在高维空间中的高密度区域，那么降维后在低维空间中它们接近。
  
  • Spectral clustering：在z上聚类

---

2 T-distributed Stochastic Neighbor Embedding (t-SNE)

• 假设相同类的点接近 & 不同类的点不接近（之前方法没有的假设）。

  • $P(x_j|x_i) = \frac{S(x_i,x_j)}{\sum\limits_{k\not = i}S(x_i,x_k)}$，$Q(x_j|x_i) = \frac{S'(x_i,x_j)}{\sum\limits_{k\not = i}S'(x_i,x_k)}$
  • 使两者分布越接近越好：$L = \sum\limits_{i}KL(P(*|x_i)||Q(*|z_i))$，KL散度越小越好

• t-SNE——Similarity Measure：相似度度量

  • $S(x_i,x_j) = exp(-||x_i-x_j||_2)$
  • t-SNE：$S'(z_i,z_j) = 1/(1+||z_i-z_j||_2)$
    SNE：$S'(z_i,z_j) = exp(-||z_i-z_j||_2)$