[译]浅析t-SNE原理及其应用

最新推荐文章于 2024-06-18 23:07:50 发布
最新推荐文章于 2024-06-18 23:07:50 发布
阅读量1.9k 收藏 13
点赞数 1
分类专栏： 数据挖掘算法 可视化 文章标签： 可视化 机器学习
原文链接：https://www.datacamp.com/community/tutorials/introduction-t-sne
版权

声明: 本文转译自Data Camp上Manish Pathak的文章《Introduction to t-SNE》原文地址

译者注: 本文言简意赅的阐述了数据降维（ Dimensionality Reduction technique）技术中PCA以及t-Distributed Stochastic Neighbor Embedding(t-SNE)算法的相关实现原理以及利弊，并且使用Python基于Fashion-MNIST数据集描述了对PCA以及t-SNE算法的基本应用。本人觉得相关概念阐述的比较清晰因此特别转译在此博客，但如果读完本文后想深究t-SNE背后的数学原理还是推荐看原论文，论文地址会在附录给出。本人会在原文基础上添加一些相关注释（本人学习和相关工作中的一些理解）以[注]为标记。原文在实现的过程中使用的是Python2，为了贴合当下Python生态体系，因此本人使用Python3重新复现。由于本人英文水平以及技术水平有限，我会尽最大的能力确保翻译得当，倘若文中出现翻译不恰当的地方还请诸位海涵且帮助我纠正错误，可通过文章底部的邮箱地址联系我。感谢！

以下为译文内容 。

通过本教程，你将会对当下较为流行的t-SNE降维技术有一定的认知并能掌握其基础应用。

本文涉及内容如下：

  • 了解数据降维以及常用手段类型。
  • 了解主成分分析（Principal Component Analysis (PCA)）技术原理以及如何在Python上应用。
  • 了解t分布随机邻近嵌入（t-Distributed Stochastic Neighbor Embedding (t-SNE)）原理以及如何在Python上应用。
  • 可视化这两种算法的降维结果。
  • 比较这两种算法之间的优缺点

数据降维

如果你已经有过在大型数据集（包含非常多的特征）上进行相关工作的经历，你应该可以深刻（fathom）的体会到想要理解或者挖掘特征间关系是非常困难的。这一问题不仅体现在数据探索性分析（EDA）上，而且还会影响机器学习模型的性能，因此你可能会因此让你的模型过拟合或者破坏了你对模型的某些假设，例如独立特征对线性回归模型的影响[1]。这时数据降维就显得格外重要。在机器学习中，降维技术是减少随机变量个数，得到一组“不相关”主变量的过程。通过减少特征空间的维数，你仅需要考虑一小部分特征之间的关系，而且你可以很轻易地在这部分特征上做探索或者可视化，同时也可以减少你的模型出现过拟合的可能。

[注1] 考虑线性相关的两个变量以及线性无关的两个变量对整个模型的影响。

降维通常可以通过以下方式实现：

  • 特征限制：通过限制特征来缩减特征空间。虽然可以达到降维目的，但其缺点就是你会丢失一部分被你删掉的特征所蕴含的信息。
  • 特征选择：应用一些统计检验的方法去根据它们的重要程度进行排序，然后选择其中最主要的几个特征子集。这类方法依然会面临信息丢失的风险，而且还会因为不同的检验方法会导致出现不同的特征排序方式，因此是不稳定的。
  • 特征提取：通过创建一些融合了若干旧特征的独立特征。这类技术可以很好的应用在线性或非线性的降维技术中。

主成分分析（PCA）

主成分分析是一种线性的特征提取技术，它将数据通过线性映射的方式投影到低维空间中，通过这样的方式能够确保原数据在低维空间中方差最大。它通过计算其特征的协方差矩阵中的特征向量来实现这一目的。与最大的特征值（主成分）一一对应的特征向量会被用于重建成新的数据，并且保证这些数据在该特征向量方向上的方差最大。

简单来说，PCA以特定的方式融合了你所有的输入属性（特征）值，这样你就可以在删除不重要特征的同时不必担心丢失最有价值的部分。还有一个更为显著的好处，经过PCA处理之后的每一个新特征都是独立于其他特征的[2]。

[注2] 矩阵分解中的所有特征向量都是线性无关的。

t分布随机邻近插入（t-SNE）

t-SNE是一种非线性的降维技术，非常适合用于高维数据的可视化。广泛应用于图像处理、自然语言处理，基因数据以及语音处理。为了保证足够浅显易懂，这里仅对t-SNE的工作原理做简要介绍：

  • 该算法一开始通过计算在高维空间中的数据点的相似度概率和与其对应的低维空间中的点的相似度的概率。点的相似度计算方法是[3]：以A为中心的高斯分布中，如果按概率密度的比例选取相邻点，则点A将选择点B作为其相邻点的条件概率，以此计算点A的相似性。
  • 为了更好将数据投影至低维空间中，算法尝试去最小化高维数据空间和低维数据空间之间的条件概率（相似度）之差。
  • 为了评估t-SNE条件概率差和的最小化，使用梯度下降的方法最小化原分布中数据与映射分布中的对应数据的KL散度[4]（Kullback-Leibler divergence）的总和。

[注3] 更容易理解的方式是通过欧式距离算出的AB两点的距离转换为条件概率以此来表达点与点之间的相似度，此概率与大，AB两点的相似度就越高。

[注4] 即相对熵或称信息增益。让其值变小也就是为了让相似度更高的数据点聚集在一起。信息增益小则说明区分该实例的难度大，换个角度来说就是这两个实例非常相似。关于信息增益相关概念可以浏览一下我的另一篇博文

如果有兴趣更进一步研究t-SNE的同学可以查看附录中的论文1。

简单来说，t-SNE主要目的在最小化两种分布的差异性：第一个是度量输入实例成对相似性，另一种是嵌入在相应低维空间中的成对点的相似性。

通过上述方式，t-SNE映射多维数据到低维空间中并且试图找到基于多个特征的数据点的相似性来区分观测数据群，从而发现数据中的模式。然而，经过这一过程后，输入特征开始变得模糊，并且你无法仅基于t-SNE的结果进行任何推断[5]。因此这也是为什么t-SNE主要还是用来做EDA和可视化的原因。

[注5] 与PCA比较就可以很显然的看出，经过PCA处理过后的结果能够得知每一个成分的方差贡献度（解释方差），然后t-SNE仅仅是基于相似度进行判定，没办法从其结果推断类似的信息。

t-SNE应用 Python实现

现在你可以在Python中基于开源数据集应用t-SNE算法并且将其降维结果可视化。与此同时，你也要在相同数据集应用PCA算法并可视化结果，然后与t-SNE进行比较。

本次的数据集使用Fashion-MNIST并且您可以点击此处进行下载。

Fashion-MNIST是类似MNIST手写图像数据集的公共数据集，由70,000条已标注为10种类别的时尚服装数据，每一个实例都是由28x28的灰度图像组成，其中训练数据集含有60,000条，测试数据集有10,000条，用此数据集比用原MNIST数据集能更好的对比结果。Fashion-MNIST的标签与MNIST一样是0-9，但是不同的是这是个数字代表的是对应的时尚服装产品，下面对每一个数字对应的含义进行解释说明：

标注编号描述
0T-shirt/top（T恤）
1Trouser（裤子）
2Pullover（套衫）
3Dress（裙子）
4Coat（外套）
5Sandal（凉鞋）
6Shirt（汗衫）
7Sneaker（运动鞋）
8Bag（包）
9Ankle boot（踝靴）

之后你可以在Fashion-MNIST官方仓库的utils文件下的mnist_reader.py找到读取该数据集的特定方法，即load_mnist()，如下：

def load_mnist(path, kind='train'):
    import os
    import gzip
    import numpy as np

    """Load MNIST data from `path`"""
    labels_path = os.path.join(path,
                               '%s-labels-idx1-ubyte.gz'
                               % kind)
    images_path = os.path.join(path,
                               '%s-images-idx3-ubyte.gz'
                               % kind)

    with gzip.open(labels_path, 'rb') as lbpath:
        labels = np.frombuffer(lbpath.read(), dtype=np.uint8,
                               offset=8)

    with gzip.open(images_path, 'rb') as imgpath:
        images = np.frombuffer(imgpath.read(), dtype=np.uint8,
                               offset=16).reshape(len(labels), 784)

    return images, labels

之后你可以通过load_mnist()方法读取训练和测试数据集并将其应用在你的算法上即可，只要将数据集的.gz文件路径作为第一个参数以及数据类型kind作为第二个参数传入该函数即可，如

X_train, y_train = load_mnist('.', kind='train')  # 我的.gz文件就放在当前路径下

读取数据之后，你可以检查一下训练数据的基本属性，如shape，你会看到训练数据由60,000个实例以及784个特征组成

X_train.shape

(60000, 784)

同样的标注数据也可以看到是由0-910个标签组成

y_train

array([9, 0, 0, ..., 3, 0, 5], dtype=uint8)

接下来，为了保证能够代码的完整性比如引入所需要的第三方库，同时为了确保可复现，还需要设置Random State参数[6]为123。代码如下：

[注6] 我们知道计算机的随机都是伪随机，因此为了确保代码结果是可复现的都会设置一个随机因子，至于这个值是多少并没有规定，例如我本人就喜欢设置成42，原因是在《银河系漫游指南》中42是超级计算机得出的生命终极答案。

import time
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.patheffects as PathEffects
%matplotlib inline

import seaborn as sns
sns.set_style('darkgrid')
sns.set_palette('muted')
sns.set_context("notebook", font_scale=1.5,
                rc={"lines.linewidth": 2.5})
RS = 123

为了能够兼容两个算法结果的可视化展示，需要创建一个fashion_scatter()函数。该函数接受两个参数：参数1 x 接受一个算法结果的2维矩阵输入；参数2 colors接受一个1维的标签数组。该函数会根据colors中的标签对x散点数据继续染色。

fashion_scatter()定义如下：

# Utility function to visualize the outputs of PCA and t-SNE

def fashion_scatter(x, colors):
    # choose a color palette with seaborn.
    num_classes = len(np.unique(colors))
    palette = np.array(sns.color_palette("hls", num_classes))

    # create a scatter plot.
    f = plt.figure(figsize=(8, 8))
    ax = plt.subplot(aspect='equal')
    sc = ax.scatter(x[:,0], x[:,1], lw=0, s=40, c=palette[colors.astype(np.int)])
    plt.xlim(-25, 25)
    plt.ylim(-25, 25)
    ax.axis('off')
    ax.axis('tight')

    # add the labels for each digit corresponding to the label
    txts = []

    for i in range(num_classes):

        # Position of each label at median of data points.

        xtext, ytext = np.median(x[colors == i, :], axis=0)
        txt = ax.text(xtext, ytext, str(i), fontsize=24)
        txt.set_path_effects([
            PathEffects.Stroke(linewidth=5, foreground="w"),
            PathEffects.Normal()])
        txts.append(txt)

    return f, ax, sc, txts

为了不让你的机器承担过重的内存与运行时间压力，在本次实践中我们只取训练集中前20,000条作为训练数据，同时你要确保这20,000条数据一定要涵盖10个标签。

x_subset = X_train[0:20000]
y_subset = y_train[0:20000]

np.unique(y_subset)

array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], dtype=uint8)

现在可以在训练子集上使用PCA算法并可视化其结果了，为了方便我们直接使用scikit-learn提供的PCA算法，将n_components设置为4，这个参数决定了最后输出的数据维度。关于PCA的更多用法可以自行前往scikit-learn的官网查看

from sklearn.decomposition import PCA

time_start = time.time()

pca = PCA(n_components=4)
pca_result = pca.fit_transform(x_subset)

print(f'PCA done! Time elapsed: {time.time()-time_start} seconds')

PCA done! Time elapsed: 0.6091551780700684 seconds

现在可以将pca_reuslt存入DataFrame中，之后我们可以检查这四个主成分的各自的数据方差。

pca_df = pd.DataFrame(columns = ['pca1','pca2','pca3','pca4'])

pca_df['pca1'] = pca_result[:,0]
pca_df['pca2'] = pca_result[:,1]
pca_df['pca3'] = pca_result[:,2]
pca_df['pca4'] = pca_result[:,3]

print(f'Variance explained per principal component: {pca.explained_variance_ratio_}')

Variance explained per principal component: [0.29021329 0.1778743  0.06015076 0.04975864]

注意：训练子集中的第一和第二主成分的解释方差之和几乎达到了48%。因此我们仅对这两个主成分的数据进行可视化即可。

top_two_comp = pca_df[['pca1','pca2']] # taking first and second principal component

f, ax, sc, txts = fashion_scatter(top_two_comp.values,y_subset) # Visualizing the PCA output
f.show()

pca_top_2_result.png

如图中所示，PCA算法试图将不同点区分且将相同的点聚集起来。因此，这个图也可以用来做数据探索性分析。当然主成分1与主成分2还可以在分类和聚类算法上直接充当特征。

现在我们使用t-SNE来做相同的事情，当然t-SNE也在被scikit-learn实现了，我们直接使用即可，在此我们提供一些t-SNE常用的参数说明，更多关于t-SNE的说明可以参考scikit-learn的官方文档

  • n_components (默认为2): 嵌入空间的维数。
  • perplexity (默认为30): 复杂度的含义与其他流行学习方法[7]中的最邻近个数的含义相似，通常在5-50之间考虑。
  • early_exaggeration (默认为12.0): 控制原始空间在嵌入空间中的密度集大小。
  • learning_rate (默认为200.0): 学习率的常见范围在10.0~1000.0之间。
  • n_iter (默认为1000): 算法优化的的最大迭代次数，至少应该设置为250次。
  • method (默认为 ‘barnes_hut’): 学习方法，Barnes-Hut方法运行时间为O(NlogN)。method='exact’会比较慢，算法执行时间为O(N2)。

[注7] 流行学习方法是指从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形。引自简书《流行学习-实现高维数据的降维与可视化》。

在此我们先以默认参数运行t-SNE算法：

from sklearn.manifold import TSNE
import time
time_start = time.time()

fashion_tsne = TSNE(random_state=RS, n_jobs=-1).fit_transform(x_subset)

print(f't-SNE done! Time elapsed: {time.time()-time_start} seconds')

t-SNE done! Time elapsed: 882.41050598 seconds

很显然，t-SNE在相同数据集上的执行时间要比PCA长太多[8]。

[注8] 在sklearn 0.22版本更新了n_jobs参数，可以使用多个CPU并行计算，会对执行时间有所改观。代码如下：

fashion_tsne = TSNE(random_state=RS, n_jobs=-1).fit_transform(x_subset)

因机器而异，在我本地跑完整个算法耗时223秒。

现在可视化t-SNE的结果：

f, ax, sc, txts = fashion_scatter(fashion_tsne, y_subset)
f.show()

tsne_nc2_result.png

正如你所见，这次的降维结果比刚才PCA的结果好了许多，基本可以清晰的看到每个标签都被聚集在它们各自的簇中，如果你将此数据应用于聚类算法中，应该会更精确的描绘每一个簇。

在sklearn关于t-SNE的文档中有提到：

It is highly recommended to use another dimensionality reduction method (e.g., PCA for dense data or TruncatedSVD for sparse data) to reduce the number of dimensions to a reasonable amount (e.g., 50) if the number of features is very high. This will suppress some noise and speed up the computation of pairwise distances between samples.

当如果维数非常高时，强烈建议使用其他的降维方式（如稠密矩阵使用PCA或者稀疏矩阵使用TruncatedSVD）去降低至一个合理的维度（如50），这样做会极大的抑制数据噪声，加快样本间欧氏距离的计算时间。

现在我们可以根据官方给出的这个建议，先使用PCA算法[9]将数据维数降至50维，然后再在t-SNE上使用此数据，并可视化其结果。

[注9] 个人感觉这里分别尝试PCA与TruncatedSVD这两中方法会更加合理一些。

time_start = time.time()

pca_50 = PCA(n_components=50)
pca_result_50 = pca_50.fit_transform(x_subset)

print(f'PCA with 50 components done! Time elapsed: {time.time()-time_start} seconds')

print(f'Cumulative variance explained by 50 principal components: {np.sum(pca_50.explained_variance_ratio_)}')

PCA with 50 components done! Time elapsed: 1.1455249786376953 seconds
Cumulative variance explained by 50 principal components: 0.8624682420611026

现在将pca_result_50应用在t-SNE上：

import time
time_start = time.time()

# 这里直接应用 n_jobs=-1 参数，启用所有cpu进行计算
fashion_pca_tsne = TSNE(random_state=RS, n_jobs=-1).fit_transform(pca_result_50)

print(f't-SNE done! Time elapsed: {time.time()-time_start} seconds')

t-SNE done! Time elapsed: 93.07448196411133 seconds

可以看出经过以上步骤后的执行时间大幅度缩减。

tsne_pca50_result.png

从图上可以看出来，几乎非常接近于直接运用t-SNE的图，但是还是有一些地方不同，在0标签或者说在T-shirt/top这一簇被更加紧密的聚集在一起了。

PCA 与 t-SNE 的区别

尽管PCA与t-SNE各有优劣，但是它们之间还是有一些非常重要的区别：

  • t-SNE的计算成本非常高，相同数量级的数据集在PCA上的计算速度会比t-SNE要快许多。
  • 从理论上来说，PCA是一种矩阵分解技术，而t-SNE是一种概率方法。
  • 在类似PCA一样的线性降维算法中，会将不同的数据点置于距离较远的低维空间中。但是，为了在低维非线性流行上表示高维数据，必须将相似的数据点紧密的表示在一起，这也是t-SNE与PCA应用场景不同之处。
  • 在使用t-SNE的时候，即使是相同的超参数但是由于在不同时期运行的结果可能不尽相同，因此在使用t-SNE时必须观察许多图，而PCA则是稳定的。
  • 由于PCA是一种线性的算法，它无法解释特征之间的复杂多项式关系也即非线性关系，而t-SNE可以获知这些信息。

结论

恭喜！你通过本教程已经对降维技术有了一定的了解，并且知道如何使用PCA和t-SNE这两种主流的降维技术，并且了解了如何创建一些漂亮的图来比较它们之间的结果。但是，这些仅仅是非常基础的知识，在t-SNE的原理中还有许多知识可以去深究，希望通过本教程可以让您在您的日常工作中更好的使用t-SNE。

附录

GuanzhouKe
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TSNE——目前最好的降维方法
weixin_34279246的博客
11-16 5899
转自：http://blog.csdn.net/u012162613/article/details/45920827 1.流形学习的概念 流形学习方法(Manifold Learning)，简称流形学习，自2000年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。在理论和应用上，流形学习方法都具有重要的研究意义。 假设数...
t-sne_t-SNE_tSNE_
09-30
t-SNE在机器学习和数据分析领域被广泛应用，因为它能有效地将高维数据转换成低维空间，通常为2D或3D，以便于观察数据的分布和潜在结构。 t-SNE的核心思想是保留高维数据中的局部结构，通过最大化高维数据中相似点在...
算法金 | 一个强大的算法模型：t-SNE ！！
最新发布
算法金「全网同名」的博客
06-18 1148
t-SNE 是一种非线性降维技术，用于将高维数据映射到低维空间，以便进行可视化。它通过保持高维空间中数据点之间的局部相似性来生成低维空间的表示。这种方法特别适用于揭示复杂数据集中的模式和结构。
t-SNE及pytorch实现
leida_wt的博客
12-13 2万+
概述 tSNE是一个很流行的降维可视化方法，能在二维平面上把原高维空间数据的自然聚集表现的很好。这里学习下原始论文，然后给出pytoch实现。整理成博客方便以后看 SNE tSNE是对SNE的一个改进，SNE来自Hinton大佬的早期工作。tSNE也有Hinton的参与。先解释下SNE。 SNE 全称叫Stochastic Neighbor Embedding。思想是这样的，分别在降维前和降维后的...
关于t-SNE(T-distributed Stochastic Neighbor Embedding) t-分布随机近邻嵌入的简单理解
weixin_51963007的博客
08-11 1132
t-sne 是一种探索高维数据 (high-dimensional data) 的方法，其多用于机器学习 (machine learning), 此方法可以将高维数据通过低维[一般是2-D]的形式展现出来。此文章简单谈一点t-sne的使用与理解
TSNE-原理与实现
WchStrife的博客
11-28 1万+
TSNE-数据可视化降维 项目地址：https://github.com/wchstrife/Information-Visualization-and-Visual-Analytics.git 一、运行 python tsne.py 二、算法原理 2.1 SNE原理 SNE即stochastic neighbor embedding，其基本思想为在高维空间相似的数据点，映射到低维空间距离也是相...
tSNE的思考
围城
03-12 2559
20210312 - （） 0. 引言 虽然一直在使用TSNE进行数据的可视化，但是都没有具体探究过这个算法的具体原理；同时呢，有时候也会遇到一些很奇葩的数据。 在网上看别人进行TSNE的实际操作，每次画出来数据都特别好看，但是为什么到了我这里的数据，就看起来非常难看？！本篇文章记录一些这方面的内容来进行思考。 1. 具体原理 关于他的具体原理，这里不再过多的去看大量的文章，这里找到一个文章，虽然在数学的部分不怎么理解，但是从他的描述上，我感受到这样一种思想，本质上可视化的过程，是要找到一种映射，这种映射实
MATLAB实现T-SNE降维特征可视化（完整源码和数据)
11-12
1.T-SNE降维特征可视化，MATLAB程序（完整源码和数据) 2.T-分布随机邻域嵌入，主要用途是对高维数据进行降维并进行可视化，以便更好地理解和发现数据之间的结构、模式和聚类关系。它被广泛应用于数据可视化、数据...
代码 基于t-sne算法的降维可视化实例
06-04
代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化...
MATLAB源码集锦-基于t-sne算法的降维可视化实例
02-14
在本资源中，我们主要探讨的是使用MATLAB实现t-SNE（t-distributed Stochastic Neighbor Embedding）算法进行数据...通过研究和实践这些代码，我们可以更好地掌握t-SNE的工作原理，并将其应用于自己的数据分析项目中。
基于t-SNE降维的学生成绩聚类模型_ofgu4_t-SNE_python_whisperedvtt_聚类_
09-30
让我们详细了解一下t-SNE（t-distributed Stochastic Neighbor Embedding）和聚类的基本概念以及它们在本项目中的应用。 t-SNE是一种非线性的降维技术，主要用于可视化高维数据。在学生成绩分析中，可能存在多个...
t-sne算法matlab原函数
01-19
1. **T-SNE的基本原理** T-SNE的主要思想是将高维数据的相似性转化为低维空间的距离，使得高维数据点的近邻在低维表示中仍然接近。它首先计算高维空间中的概率分布，然后在低维空间中重构这个分布，最小化两者的KL...
tSNE_function_matlab.zip_matlab t-SNE_t-SNE_t-SNE matlab_tsne降维_
07-14
**t-SNE（t-distributed Stochastic Neighbor Embedding）**是一种流行的数据可视化技术，用于将高维数据映射到二维或三维空间，以便于观察数据的结构和模式。在MATLAB环境中，t-SNE的实现通常包括几个关键步骤和...
T-sne 图片显示 分布
10-23
首先，我们需要理解T-SNE的基本原理。T-SNE通过最小化高维和低维数据之间的KL散度来保持局部结构。它首先计算高维数据之间的相似性，然后在低维空间中重新分布这些相似性，使高维和低维的分布尽可能接近。这个过程...
Rtsne的问题总结
qq_45759229的博客
05-08 732
今天在造dropout模拟数据集的时候，发现了一个问题，Rtsne的结果和skelarn中的tsne画图结果非常不同，让我感到很好奇，到底是什么原因导致这个的 %load_ext rpy2.ipython %%R -o counts -o truecounts -o geneinfo -o cellinfo # make sure that splatter is installed: https://github.com/Oshlack/splatter suppressPackageStartupM
t-SNE 高维数据可视化
weixin_43742643的博客
05-19 659
最近需要用到 PCA 和 t-SNE 降维技术，把 110 维的状态降到 2 维，用 matplotlib 可视化。 由于数据量比较大，加上 t-SNE 运行速度慢，所以先用 PCA 降到 50 维，再用 t-SNE 降到 2 维 from sklearn.decomposition import PCA from sklearn.manifold import TSNE # dataset_S.shape=(30000, 110) pca = PCA(n_components=50) pca.fit(d
数据降维与可视化——t-SNE
热门推荐
hustqb的博客
09-30 13万+
  t-SNE是目前来说效果最好的数据降维与可视化方法，但是它的缺点也很明显，比如：占内存大，运行时间长。但是，当我们想要对高维数据进行分类，又不清楚这个数据集有没有很好的可分性（即同类之间间隔小，异类之间间隔大），可以通过t-SNE投影到2维或者3维的空间中观察一下。如果在低维空间中具有可分性，则数据是可分的；如果在高维空间中不具有可分性，可能是数据不可分，也可能仅仅是因为不能投影到低维空间。
t-sne在matlab中的实例应用
06-26
### 回答1： t-sne是一种流行的非线性降维算法，可用于将高维数据可视化为二维或三维空间中的分布。在Matlab中，t-sne可以通过使用“t-SNE Toolbox”扩展包实现。该工具包提供了一组功能丰富的函数，使用户能够轻松地将高维数据集转换为低维表示。 使用t-SNE Toolbox进行t-sne分析的基本流程如下： 1. 准备数据：将数据加载到Matlab工作空间中，并将其整理成一个矩阵，其中每一行对应于一个观测值，每一列对应于一个特征。 2. 配置参数： T-SNE Toolbox提供了几个参数，可用于控制t-sne分析的参数，例如，迭代次数、惯性、邻域尺度等。 3. 运行t-sne算法：使用t-SNE Toolbox提供的函数运行t-sne算法，从而将高维数据可视化为低维空间中的分布。 4. 可视化结果：在低维空间中可视化数据，并对其中的聚类、局部密度等进行分析，以获得对原始数据集的更深入的理解。 例如，可以使用t-SNE Toolbox中的“tsne_d”函数将高维数据降维到二维空间中，并使用“scatter”函数在二维空间中绘制散点图，展示从高维数据中提取的特征和模式。 总之，t-sne是一种常用的非线性降维算法，它可以帮助我们更好地理解高维数据集中的复杂模式，而在Matlab中，使用t-SNE Toolbox工具包能够很方便地实现这种算法，并可视化分析结果。 ### 回答2： t-SNE(T-Stochastic Neighbor Embedding)是一种用于数据降维和可视化的算法。在matlab中，用户可以使用t-SNE工具箱来实现t-SNE算法。 使用t-SNE工具箱的第一步是加载数据，可以将数据加载为矩阵或读取外部文件。然后，可以使用t-SNE函数将数据集投影到二维平面或三维空间中。在使用t-SNE函数之前，需要设置一些参数，例如迭代次数、数据集的维数、正则化参数等。用户还可以通过指定不同的颜色、符号和标签等方式来定制可视化图形。 t-SNE算法的一个实际应用是分析人脑神经元活动。可以将神经元活动数据投影到二维图中，并通过可视化来发现神经元之间的联系和集群。此外，t-SNE还可以在其他领域中被广泛应用，例如计算机视觉、自然语言处理和基因组学等领域。 ### 回答3： t-sne是一种流行的降维算法，它可以将高维数据映射到二维或三维空间，方便数据可视化和分析。在Matlab中，可以通过调用t-sne函数来实现这一过程。 在Matlab中调用t-sne函数的方法非常简单。首先，需要将数据读入Matlab中，并进行必要的预处理，如归一化和特征选择等。然后，调用t-sne函数，并设置一些参数，如输入数据、输出维度、学习率等。最后，可以将结果可视化，以便进一步分析和研究。 例如，假设我们有一个高维数据集，其中包含1000个样本和100个特征。我们想将这些数据映射到二维空间中以便进行可视化。在Matlab中，可以按照以下步骤操作： 1.读入数据并进行预处理，如标准化和PCA。 2.调用t-sne函数，设置参数。例如，我们可以设置输入数据为标准化后的数据、输出维度为2、学习率为200和迭代次数为1000。这个函数会返回一个二维矩阵，其中每一行表示一个样本在二维空间中的坐标。 3.将结果可视化，以便进一步分析和研究。在Matlab中，可以使用plot或scatter函数绘制散点图，其中x和y坐标为t-sne函数输出的二维矩阵的第一列和第二列。 t-sne在Matlab中的实例应用非常广泛，其应用范围包括图像识别、文本分类、时间序列分析等。无论是初学者还是专业人士，都可以轻松地使用这个强大的工具来降低数据的维度，增强数据可视化和分析的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值