Scikit-learn学习系列 | 5. sklearn特征降维可视化展示（t-SNE、PCA、KernelPCA、MDS、SpectralEmbedding）

已于 2022-05-06 18:44:08 修改
阅读量5.8k 收藏 107
点赞数 13
分类专栏： 机器学习 文章标签： sklearn scikit-learn 学习
于 2022-05-06 11:02:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44751294/article/details/124603643
版权
本文通过使用t-SNE、PCA、KernelPCA和MDS等降维算法，对手写数字数据集进行2D和3D可视化展示。t-SNE在降维效果上表现出色，能清晰地呈现数据分布。PCA和KernelPCA作为线性方法，可能丢失非线性结构信息，而MDS和SpectralEmbedding则在保留非线性结构方面有一定优势。降维选择应考虑时间成本和效果平衡，并注意数据预处理和目的明确。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如有错误，恳请指出。

以下内容将使用一个非常经典的手写数字数据集来进行降维与可视化展示。在原始的数据中，手写数字的维度是64，因为其像素表示是64，以下内容将分别使用不同的算法对其降维到2~3维并展示。所以分别可以实现2D可视化展示降维效果与3D可视化降维效果。

文章目录


首先导入必要的工具包： 

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

1. t-SNE降维效果

1.1 2D可视化

from sklearn import datasets
from sklearn import preprocessing
from sklearn.manifold import TSNE

# 数据集导入
X, y = datasets.load_digits(return_X_y=True)

# t-SNE降维处理
tsne = TSNE(n_components=2, verbose=1 ,random_state=42)
result = tsne.fit_transform(X)

# 归一化处理
scaler = preprocessing.MinMaxScaler(feature_range=(-1,1))
result = scaler.fit_transform(result)

# 颜色设置
color = ['#FFFAFA', '#BEBEBE', '#000080', '#87CEEB', '#006400',
         '#00FF00', '#4682B4', '#D02090', '#8B7765', '#B03060']

# 可视化展示
plt.figure(figsize=(10, 10))
plt.title('t-SNE process')
# plt.xlim((-1.1, 1.1))
# plt.ylim((-1.1, 1.1))
# for i in range(len(result)):
#     plt.text(result[i,0], result[i,1], str(y[i]), 
#              color=color[y[i]], fontdict={'weight': 'bold', 'size': 9})
plt.scatter(result[:,0], result[:,1], c=y, s=10)

输出：

[t-SNE] Computing 91 nearest neighbors...
[t-SNE] Indexed 1797 samples in 0.000s...
[t-SNE] Computed neighbors for 1797 samples in 0.116s...
[t-SNE] Computed conditional probabilities for sample 1000 / 1797
[t-SNE] Computed conditional probabilities for sample 1797 / 1797
[t-SNE] Mean sigma: 11.585657
[t-SNE] KL divergence after 250 iterations with early exaggeration: 61.555897
[t-SNE] KL divergence after 1000 iterations: 0.743767

在这里插入图片描述

1.2 3D可视化

from sklearn.manifold import TSNE
from sklearn import preprocessing
from sklearn import datasets

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# t-SNE降维处理
tsne = TSNE(n_components=3, verbose=1 ,random_state=42)
result = tsne.fit_transform(X)
# 归一化处理
scaler = preprocessing.MinMaxScaler(feature_range=(-1,1))
result = scaler.fit_transform(result)
# 3D可视化展示
fig = plt.figure(figsize=(14, 14))
ax = fig.add_subplot(projection='3d')
ax.set_title('t-SNE process')
ax.scatter(result[:,0], result[:,1], result[:,2] , c=y, s=10)

输出：

[t-SNE] Computing 91 nearest neighbors...
[t-SNE] Indexed 1797 samples in 0.000s...
[t-SNE] Computed neighbors for 1797 samples in 0.119s...
[t-SNE] Computed conditional probabilities for sample 1000 / 1797
[t-SNE] Computed conditional probabilities for sample 1797 / 1797
[t-SNE] Mean sigma: 11.585657
[t-SNE] KL divergence after 250 iterations with early exaggeration: 61.700397
[t-SNE] KL divergence after 1000 iterations: 0.615485

在这里插入图片描述

可以看见，t-SNE无论是将数据降维到2维或者是3维，其可视化的效果都是比较好的，可以明显的看出来数据之间的分布是有一定距离的。

2. PCA降维效果

2.1 2D可视化

from sklearn.decomposition import PCA
from sklearn.preprocessing import MinMaxScaler
from sklearn import datasets

# 颜色设置
color = ['#FFFAFA', '#BEBEBE', '#000080', '#87CEEB', '#006400',
         '#00FF00', '#4682B4', '#D02090', '#8B7765', '#B03060']

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# PCA降维（一种矩阵分解的方法）
pca = PCA(n_components=2, random_state=42)
result = pca.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-1., 1.), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
plt.figure(figsize=(10, 10))
plt.xlim((-1.1, 1.1))
plt.ylim((-1.1, 1.1))
plt.title('PCA process')
for i in range(len(result)):
    plt.text(result[i,0], result[i,1], str(y[i]), 
             color=color[y[i]], fontdict={'weight': 'bold', 'size': 9})

在这里插入图片描述

2.2 3D可视化

from sklearn.decomposition import PCA
from sklearn.preprocessing import MinMaxScaler
from sklearn import datasets

# 颜色设置
color = ['#FFFAFA', '#BEBEBE', '#000080', '#87CEEB', '#006400',
         '#00FF00', '#4682B4', '#D02090', '#8B7765', '#B03060']

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# PCA降维（一种矩阵分解的方法）
pca = PCA(n_components=3, random_state=42)
result = pca.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-2., 2.), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
fig = plt.figure(figsize=(14, 14))
ax = fig.add_subplot(111, projection='3d')
# 标题，范围，标签设置
ax.set_title('PCA process')
ax.set_xlim((-2.1, 2.1))
ax.set_ylim((-2.1, 2.1))
ax.set_zlim((-2.1, 2.1))
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_zlabel('Z')
# 绘制散点图（直接在对应位置上画出标签值）
for i in range(len(result)):
    ax.text(result[i, 0], result[i, 1], result[i, 2], str(y[i]), 
             color=color[y[i]], fontdict={'weight': 'bold', 'size': 9})

在这里插入图片描述

3. KernelPCA降维效果

3.1 2D可视化

from sklearn.decomposition import KernelPCA
from sklearn.preprocessing import MinMaxScaler

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# PCA降维（一种矩阵分解的方法）
pca = KernelPCA(n_components=2, random_state=42)
result = pca.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-1, 1), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
plt.figure(figsize=(10, 10))
plt.title('KernelPCA process')
plt.scatter(result[:,0], result[:,1], c=y, s=10)

在这里插入图片描述

3.2 3D可视化

from sklearn.decomposition import KernelPCA
from sklearn.preprocessing import MinMaxScaler
from sklearn import datasets

# 颜色设置
color = ['#000000', '#BEBEBE', '#000080', '#87CEEB', '#006400',
         '#00FF00', '#4682B4', '#D02090', '#8B7765', '#104E8B']

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# PCA降维（一种矩阵分解的方法）
kernel_pca = KernelPCA(n_components=3, random_state=42)
result = kernel_pca.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-2., 2.), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
fig = plt.figure(figsize=(14, 14))
ax = fig.add_subplot(111, projection='3d')
# 标题，范围，标签设置
ax.set_title('KernelPCA process')
ax.set_xlim((-2.1, 2.1))
ax.set_ylim((-2.1, 2.1))
ax.set_zlim((-2.1, 2.1))
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_zlabel('Z')
# 绘制散点图（直接在对应位置上画出标签值）
for i in range(len(result)):
    ax.text(result[i, 0], result[i, 1], result[i, 2], str(y[i]), 
             color=color[y[i]], fontdict={'weight': 'bold', 'size': 9})

在这里插入图片描述

4. MDS降维效果

4.1 2D可视化

from sklearn.manifold import MDS
from sklearn.preprocessing import MinMaxScaler

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# 数据降维
mds = MDS(n_components=2, verbose=1, random_state=42)
result = mds.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-1, 1), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
plt.figure(figsize=(10, 10))
plt.title('MDS process')
plt.scatter(result[:,0], result[:,1], c=y, s=10)

在这里插入图片描述

4.2 3D可视化

from sklearn.manifold import MDS
from sklearn.preprocessing import MinMaxScaler

# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# 数据降维
mds = MDS(n_components=3, verbose=1, random_state=42)
result = mds.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-1, 1), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
fig = plt.figure(figsize=(14, 14))
ax = fig.add_subplot(projection='3d')
ax.set_title('MDS process')
ax.scatter(result[:,0], result[:,1], result[:,2] , c=y, s=10)

在这里插入图片描述

5. SpectralEmbedding降维效果

5.1 2D可视化

from sklearn.manifold import SpectralEmbedding
from sklearn.preprocessing import MinMaxScaler


# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# 数据降维
sp = SpectralEmbedding(n_components=2, random_state=42)
result = sp.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-1, 1), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
fig = plt.figure(figsize=(10, 10))
ax = fig.add_subplot(111)
ax.set_title('SpectralEmbedding process')
ax.scatter(result[:,0], result[:,1], c=y, s=10)

在这里插入图片描述

5.2 3D可视化

from sklearn.manifold import SpectralEmbedding
from sklearn.preprocessing import MinMaxScaler


# 导入数据
X, y = datasets.load_digits(return_X_y=True)
# 数据降维
sp = SpectralEmbedding(n_components=3, random_state=42)
result = sp.fit_transform(X)
# 归一化处理
scaler = MinMaxScaler(feature_range=(-1, 1), copy=True)
result = scaler.fit_transform(result)
# 可视化展示
fig = plt.figure(figsize=(10, 10))
ax = fig.add_subplot(projection='3d')
ax.set_title('SpectralEmbedding process')
ax.scatter(result[:,0], result[:,1], result[:,2] , c=y, s=10)

在这里插入图片描述

6. 总结

通过可视化的比较，可以明显的看得出来，t-SNE的降维效果是最好的，那么如果使用t-SNE降维后再使用一些机器学习的分类方法能否可以超越深度学习的方法呢？这里我做了一个实验，详细见：t-SNE原理介绍与对手写数字MNIST的可视化结果，最后的答案效果是不好的。

线性降维方法包括PCA、LDA时间消耗较少，但是这种线性降维方法会丢失高维空间中的非线性结构信息。相比较而言，非线性降维方法（这里没有提到KPCA和KLDA，有兴趣的可以试一试这两类非线性降维方法）中的流形学习方法可以很好的保留高维空间中的非线性结构信息。虽然典型的流形学习是非监督的方法，但是也存在一些有监督方法的变体。

在进行数据降维时，我们一定要弄清楚我们降维的目的，是为了进行特征提取，使得之后的模型解释性更强或效果提升，还是仅仅为了可视化高维数据。在降维的方法的选择上，我们也要尽量平衡时间成本和降维效果。

另外，在降维时需要注意以下几点：

  • 降维之前，所有特征的尺度是一致的；
  • 重构误差可以用于寻找最优的输出维度𝑑d（此时降维不只是为了可视化），随着维度𝑑d的增加，重构误差将会减小，直到达到实现设定的阈值；
  • 噪音点可能会导致流形出现“短路”，即原本在流形之中很容易分开的两部分被噪音点作为一个“桥梁”连接在了一起；
  • 某种类型的输入数据可能导致权重矩阵是奇异的，比如在数据集有超过两个样本点是相同的，或者样本点被分在了不相交的组内。在这种情况下，特征值分解的实现solver='arpack’将找不到零空间。解决此问题的最简单的办法是使用solver='dense’实现特征值分解，虽然dense可能会比较慢，但是它可以用在奇异矩阵上。除此之外，我们也可以通过理解出现奇异的原因来思考解决的办法：如果是由于不相交集合导致，则可以尝试n_neighbors增大；如果是由于数据集中存在相同的样本点，那么可以尝试去掉这些重复的样本点，只保留其中一个。

这部分的总结来自参考资料2.

参考资料：

1. RGB配色表
2. 十种方法实现图像数据集降维

Python 实现T-SNE降维特征可视化（含模型描述及示例代码）
参考资料请自行甄别 资源下载请先试读页面内容 观看内容概要 确认具体需求后再下载 亦或联系博主本人 不提供代码调试服务 如有疑问不解之处 请及时联系博主本人 妥善解决 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油 谢谢
04-27 39
本项目的核心任务是使用t-SNE对多维数据进行降维，并通过合适的可视化方法展示数据的内部结构和模式。通过t-SNE降维后的结果，我们能够直观地观察到不同类别的数据点在低维空间中的分布情况，这对于数据理解、模型优化以及后续的分析具有重要意义。项目的意义不仅在于使复杂的高维数据具备了可视化的表达形式，更在于通过降维结果的可视化，使得数据分析、特征工程和模型选择等工作变得更加清晰、直观和高效。本项目旨在通过实现t-SNE降维算法，帮助用户对高维数据进行可视化，进而发现数据的结构和潜在模式。
【33】t-SNE原理介绍与对手写数字MNIST的可视化结果
Clichong
05-06 4773
如有错误，恳请指出。 这篇博客将会介绍一个无监督的降维算法——t-SNE，其是一个常用的降维可视化工具，下面会记录一下李宏毅老师对其的原理介绍，然后我做了一个实验，用其来对手写数字（MNIST数据集）进行降维的一个效果展示。 文章目录1. t-SNE原理介绍1.1 manifold介绍1.2 LLE1.3 t-SNE2. t-SNE可视化效果2.1 2D可视化效果2.2 3D可视化效果3. t-SNE降维后对MNIST数据集进行分类 1. t-SNE原理介绍 t-SNE全称是t-distributed.
sklearn实现PCA降维
weixin_43698739的博客
08-22 1986
PCA数据分析 pca听起来是不是很不怎么样，但是但凡你是大数据方向的，那么你可就要警惕一下了，没了它你可能会无从下手对于上千，万维度的数据特征处理起来，下来我就先简单解释一下PCA是何方神圣 PCA概要 PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。假如不好理解，就是简单...
sklearn数据的降维
soulproficiency的博客
06-02 825
本文主要记录使用sklearn库对数据集进行降维等相关操作，通过了解相关知识，运行已有的代码来进行新内容的学习 降维这里指降低特征的数量 sklearn的特征选择API 1.filter过滤式 ： variancethreshold from sklearn.feature_selection import VarianceThreshold def var(): var = VarianceThreshold(threshold=1.0) data = var.fit_tr
【sklearn】对MNIST数据集进行PCA降维与重构，可视化对比
qq_46105528的博客
11-30 2801
对MNIST数据集进行PCA降维与重构，可视化对比
高分SCI必备！t-SNE降维，2个应用示例，特征可视化，可解释性，深度学习故障识别，回归预测的必备工具！不信你还不会！
weixin_48747334的博客
02-04 6920
你肯定见过这些顶级期刊在做论文中的特征可视化工具：t-SNE；出来的图都非常好看，能够给专家及读者留下非常好的印象，这是科研的必备工具！尽快拿下！
使用Sklearn学习降维算法PCA和SVD
理科男同学
10-24 6083
1，概述 1.1，什么是维度？ 我们先来解释一下维度的概念。 对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是几维。索引以外的数据，不分行列的叫一维（此时shape返回唯一的维度上的数据个数），有行列之分叫二维（shape返回行x列），也称为表。一张表最多二维，复数的表构成了更高的维度。当一个数组中存在2张3行4列的表时，shape返回的是(更高维，行，列)。当数组中存在2组2张3行4列的表时，数据就是4维，shape返回(2,2,3,4)。 数组中的每
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（8）：降维
Morganfs的博客
05-08 1656
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.07~2022.05.08 第八章 降维 许多机器学习问.
机器学习实战（基于Scikit-Learn和TensorFlow）（Ⅱ）
qq_44709990的博客
02-14 1919
机器学习实战（基于Scikit-Learn和TensorFlow）（Ⅱ） 本文参考书籍：《机器学习实战（基于Scikit-Learn和TensorFlow）》 目录机器学习实战（基于Scikit-Learn和TensorFlow）（Ⅱ）5.支持向量机线性SVM分类软间隔分类非线性SVM分类多项式核添加相似特征高斯RBF核函数计算复杂度SVM回归工作原理决策函数和预测训练目标二次规划对偶问题核化SVM在线SVM6.决策树    5.支持向量机   SVM能执行线性或非线性分类、回归，或异常值检测任务。SVM特
【scikit-learn维度降低技术】：PCA与t-SNE的实战应用，轻松应对高维数据
[【scikit-learn维度降低技术】：PCA与t-SNE的实战应用，轻松应对高维数据](https://user-images.githubusercontent.com/28743573/70132035-568e8700-16be-11ea-84e3-1cdf85fc3db3.png) # 1. 高维数据的挑战与维度...
11个经典降维算法（AutoEncoder、ICA、ISOMAP、LDA、LLE、T-SNE等）
04-01
6. **t-分布随机近邻嵌入(T-SNE)**：T-SNE是一种非线性的降维方法，特别适合数据的可视化，因为它能保持局部结构。Python的`sklearn.manifold.TSNE`提供了T-SNE的实现。 7. **自动编码器(AutoEncoder)**：这是一种...
t-SNE数据可视化sklearn中的digits数据集.html
04-16
t_SNE数据可视化sklearn中的数据集digits，介绍了digits数据集的特性，是一个64维的数据集，同时进行了二维和三维的可视化，二维用到了matplotlib，三维用到了mpl_toolkits.mplot3d import Axes3D
可视化 | （四）可视化降维
知识库搭建ing
10-27 673
课程PPT总结存档（From Qiong Zeng）
使用 Sklearn 实现PCA降维的最简单代码及调参说明
umyrumr的博客
11-13 1073
使用 Sklearn 实现PCA降维的最简单代码及调参说明 1 人赞同了该文章 #废话不多说，直接上代码！ #重要的部分有注释，所有的参数都有参数说明，可以直接运行，适合小白。 #未经许可，禁止转载。 #转自本人知乎https://zhuanlan.zhihu.com/p/279775917 #鸢尾花数据集导入 import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.datas
t-SNE实践——sklearn教程
04-23 2256
t-SNE实践——sklearn教程 https://blog.csdn.net/hustqb/article/details/80628721
sklearn-第八节（可视化）
qq_42258383的博客
01-06 3503
1 简介 本次主要通过使用Scikit-Plot的模块来介绍机器学习的相关可视化，Scikit-Plot主要包括以下几个部分： estimators：用于绘制各种算法 metrics：用于绘制机器学习的onfusion matrix, ROC AUC curves, precision-recall curves等曲线 cluster：主要用于绘制聚类 decomposition：主要用于绘制PCA降维 加载所需要的模块 # 加载需要用到的模块 import scikitplot as skplt i
机器学习之特征降维，一些概念和API，非常详细！！！
m0_62951223的博客
09-04 347
机器学习之特征降维，一些概念和API，非常详细！！！
数据维度的魔法师：使用scikit-learn进行t-SNE可视化
最新发布
2401_85761003的博客
06-23 1128
t-SNE是一种非线性的降维方法，它通过保持数据点间的相对距离来捕捉高维空间中的局部结构。与传统的线性降维方法（如PCA）相比，t-SNE在处理非线性结构时更为有效。t-SNE作为一种强大的数据可视化工具，能够帮助我们理解高维数据的结构和模式。通过本文的学习，读者应该能够掌握在scikit-learn中使用t-SNE进行数据可视化的基本步骤和技巧。希望本文能够帮助读者在实际工作中更好地利用t-SNE探索和分析数据。
sklearn学习07——可视化
qq_42929168的博客
01-05 4327
sklearn学习07——可视化前言一、一些常用数据集1.1、手写数据集1.2、肿瘤数据集1.3、波斯顿房价数据集二、性能可视化2.1、交叉验证绘制2.2、重要性特征绘制三、机器学习度量3.1、混淆矩阵（Confusion Matrix）3.2、ROC、AUC曲线3.3、P-R曲线3.4、轮廓分析3.5、可靠性曲线（Calibration Curve , Reliability Curves）3.6、KS检验3.7、累计收益曲线3.8、Lift曲线四、聚类方法4.1、手肘法（Elbow Method）五、降
t-sne算法降维可视化实战教程
资源摘要信息:"t-SNE算法降维可视化实例" 知识点详细说明： 1. t-SNE算法概述 t-SNE（t-distributed Stochastic Neighbor Embedding）是一种非线性的降维技术，主要用于高维数据的可视化。它由Laurens van der ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Clichong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值