【深度学习：t-SNE 】T 分布随机邻域嵌入

了解 t-SNE 的基本原理、与 PCA 的区别以及如何在 MNIST 数据集上应用 t-SNE

在本文中，您将了解到

• t-SNE 与 PCA（主成分分析）的区别
• 简单易懂地解释 t-SNE 的工作原理
• 了解 t-SNE 可用的不同参数
• 在 MNIST 上应用 t-SNE 和 PCA

如果数据集中有数百个特征或数据点，而您想在二维或三维空间中表示它们，该怎么办？

在保留数据集中最多信息的同时降低数据集维度的两种常用技术是

• 主成分分析（PCA）
• 分布式随机邻域嵌入（t-SNE）

降低数据维度的目标

• 在低维表示中尽可能多地保留高维数据中存在的数据的重要结构或信息。
• 在较低维度上提高数据的可解释性
• 最大限度地减少由于降维而导致的数据信息丢失

什么是PCA和t-SNE，两者有什么区别或相似之处？

PCA 和 t-SNE 都是无监督降维技术。这两种技术都用于将高维数据可视化到低维空间。

主成分分析（PCA）

• 一种用于特征提取和可视化的无监督确定性算法
• 应用线性降维技术，其重点是在低维空间中保持不同点之间的距离。
• 通过使用特征值保留数据中的方差，将原始数据转换为新数据。
• PCA 影响异常值。

t-分布式随机邻域嵌入（t-SNE）

• 一种无监督的随机算法，仅用于可视化
• 应用非线性降维技术，其重点是在低维空间中保持非常相似的数据点靠近。
• 使用学生 t 分布来计算低维空间中两点之间的相似度，从而保留数据的局部结构。t-SNE 使用重尾 Student-t 分布而不是高斯分布来计算低维空间中两点之间的相似度，这有助于解决拥挤和优化问题。
• 异常值不会影响 t-SNE

T 分布式随机邻域嵌入 (t-SNE) 是一种用于可视化的无监督机器学习算法，由 Laurens van der Maaten 和 Geoffrey Hinton 开发。

t-SNE 如何运作？

步骤 1：查找高维空间中邻近点之间的成对相似度。

t-SNE 将数据点 xᵢ 和 xⱼ 之间的高维欧氏距离转换为条件概率 P(j|i)。

高维空间中的数据（作者提供的图片）

xᵢ 会根据以点 xᵢ 为中心的高斯分布下的概率密度比例选择 xⱼ 作为其邻居。

σi 是以数据点习为中心的高斯方差

一对点的概率密度与其相似度成正比。对于附近的数据点，p(j|i) 将相对较高，而对于相距较远的点，p(j|i) 将很小。

对高维空间中的条件概率进行对称化，得到高维空间中最终的相似度。

条件概率通过对两个概率求平均值来实现对称，如下所示。

对称条件概率

步骤2：根据高维空间中点的成对相似度，将高维空间中的每个点映射到低维映射。

低维地图将是 2 维或 3 维地图

yᵢ 和 yⱼ 是高维数据点 xᵢ 和 xⱼ 的低维对应项。

我们计算类似于以点 yᵢ 为中心的高斯分布下的 P(j]i) 的条件概率 q(j|i)，然后对概率进行对称化。

步骤 3：使用基于 Kullback-Leibler 散度（KL 散度）的梯度下降找到一个低维数据表示，以最小化 Pᵢⱼ 和 qᵢⱼ 之间的不匹配

Pᵢ 表示点 xᵢ 在所有其他数据点上的条件概率分布。 Qᵢ 表示给定地图点 yᵢ 的所有其他地图点的条件概率分布

t-SNE 使用梯度下降优化低维空间中的点。

为什么使用 KL 散度？

当我们最小化 KL 散度时，它使得 qᵢⱼ 在物理上与 Pᵢⱼ 相同，因此高维空间中的数据结构将与低维空间中的数据结构相似。

基于KL散度方程，

• 如果 Pᵢⱼ 很大，那么我们需要很大的 qᵢⱼ 值来表示具有更高相似度的局部点。
• 如果 Pᵢⱼ 很小，那么我们需要较小的 qᵢⱼ 值来表示相距较远的局部点。

步骤 4：使用 Student-t 分布计算低维空间中两点之间的相似度。

t-SNE 使用具有一个自由度的重尾 Student-t 分布来计算低维空间中两点之间的相似度，而不是高斯分布。

T-分布创建了低维空间中点的概率分布，这有助于减少拥挤问题。

如何在数据集上应用 t-SNE？

在用 python 编写代码之前，我们先了解一下可以使用的 TSNE 的一些关键参数

n_components：嵌入空间的维度，这是我们希望将高维数据转换为的较低维度。对于二维空间，默认值为 2。

Perplexity：困惑度与 t-SNE 算法中使用的最近邻居的数量有关。更大的数据集通常需要更大的困惑度。困惑度的值可以在 5 到 50 之间。默认值为 30。

n_iter：优化的最大迭代次数。应至少为 250，默认值为 1000

Learning_rate：t-SNE 的学习率通常在 [10.0, 1000.0] 范围内，默认值为 200.0。

在 MNIST 数据集上实现 PCA 和 t-SNE

我们将使用 sklearn.decomposition.PCA 应用 PCA，并在 MNIST 数据集上使用 sklearn.manifold.TSNE 实现 t-SNE。

加载 MNIST 数据

导入所需的库

import time
import numpy as np
import pandas as pd

获取 MNIST 训练和测试数据并检查训练数据的形状

(X_train, y_train) , (X_test, y_test) = mnist.load_data()
X_train.shape

创建一个包含多个图像和图像中的像素数的数组，并将 X_train 数据复制到 X

X = np.zeros((X_train.shape[0], 784))
for i in range(X_train.shape[0]):
    X[i] = X_train[i].flatten()

打乱数据集，取出 10% 的 MNIST 训练数据并将其存储在数据框中。

X = pd.DataFrame(X)
Y = pd.DataFrame(y_train)
X = X.sample(frac=0.1, random_state=10).reset_index(drop=True)
Y = Y.sample(frac=0.1, random_state=10).reset_index(drop=True)
df = X

数据准备好后，我们可以应用PCA和t-SNE。

在 MNIST 数据集上应用 PCA

使用 sklearn.decomposition 中的 PCA 库应用 PCA。

from sklearn.decomposition import PCA
time_start = time.time()
pca = PCA(n_components=2)
pca_results = pca.fit_transform(df.values)
print ('PCA done! Time elapsed: {} seconds'.format(time.time()-time_start))

PCA 生成两个维度，主成分 1 和主成分 2。将两个 PCA 成分与标签一起添加到数据框中。

pca_df = pd.DataFrame(data = pca_results
             , columns = ['pca_1', 'pca_2'])
pca_df['label'] = Y

仅在可视化时才需要该标签。

绘制 PCA 结果

fig = plt.figure(figsize = (8,8))
ax = fig.add_subplot(1,1,1) 
ax.set_xlabel('Principal Component 1', fontsize = 15)
ax.set_ylabel('Principal Component 2', fontsize = 15)
ax.set_title('2 component PCA', fontsize = 20)
targets = [0,1,2,3,4,5,6,7,8,9]
colors=['yellow', 'black', 'cyan', 'green', 'blue', 'red', 'brown','crimson', 'gold', 'indigo']
for target, color in zip(targets,colors):
    indicesToKeep = pca_df['label'] == target
    ax.scatter(pca_df.loc[indicesToKeep, 'pca_1']
               , pca_df.loc[indicesToKeep, 'pca_2']
               , c = color
               , s = 50)
ax.legend(targets)
ax.grid()

在 MNIST 数据集上应用 t-SNE

导入 t-SNE 和可视化所需的库

import time
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import seaborn as sns
import matplotlib.patheffects as PathEffects
%matplotlib inline

首先使用默认参数创建 TSNE 实例，然后将高维图像输入数据拟合到嵌入空间中，并使用 fit_transform 返回转换后的输出。

图像数据的维度应为 (n_samples, n_features) 形状

time_start = time.time()
tsne = TSNE(random=0)
tsne_results = tsne.fit_transform(df.values)
print ('t-SNE done! Time elapsed: {} seconds'.format(time.time()-time_start))

将标签添加到数据框中，并且仅在绘图期间使用它来标记集群以进行可视化。

df['label'] = Y

数据可视化功能

def plot_scatter(x, colors):
    # choose a color palette with seaborn.
    num_classes = len(np.unique(colors))
    palette = np.array(sns.color_palette("hls", num_classes))
    print(palette)
    
    # create a scatter plot.
    f = plt.figure(figsize=(8, 8))
    ax = plt.subplot(aspect='equal')
    sc = ax.scatter(x[:,0], x[:,1],  c=palette[colors.astype(np.int)], cmap=plt.cm.get_cmap('Paired'))
    plt.xlim(-25, 25)
    plt.ylim(-25, 25)
    ax.axis('off')
    ax.axis('tight')
# add the labels for each digit corresponding to the label
    txts = []
for i in range(num_classes):
# Position of each label at median of data points.
xtext, ytext = np.median(x[colors == i, :], axis=0)
        txt = ax.text(xtext, ytext, str(i), fontsize=24)
        txt.set_path_effects([
            PathEffects.Stroke(linewidth=5, foreground="w"),
            PathEffects.Normal()])
        txts.append(txt)
return f, ax, sc, txts

可视化 MNIST 数据集的 -SNE 结果

plot_scatter( tsne_results, df['label'])

尝试使用不同的参数值并观察不同的绘图

不同困惑值的可视化

n_iter 不同值的可视化

我们可以看到，从 t-SNE 图生成的聚类比使用 PCA 生成的聚类更加明确。

• PCA 是确定性的，而 t-SNE 不是确定性的并且是随机的。
• t-SNE 尝试仅映射局部邻居，而 PCA 只是我们初始协方差矩阵的对角旋转，特征向量表示并保留全局属性

结论

PCA和t-SNE是两种常见的降维方法，它们使用不同的技术将高维数据降维为可以可视化的低维数据。