顶刊必备的图，原来这么简单！t-SNE降维，特征可视化，可解释性，深度学习故障识别，回归预测的必备工具！2个应用示例，直接运行！

最新推荐文章于 2024-05-26 10:24:28 发布
最新推荐文章于 2024-05-26 10:24:28 发布
阅读量754 收藏 3
点赞数 11
分类专栏： 论文写作 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Angelina_Jolie/article/details/139035464
版权

适用平台：Matlab2021及以上

你肯定见过这些顶级期刊在做论文中的特征可视化工具：t-SNE；出来的图都非常好看，能够给专家及读者留下非常好的印象，这是科研的必备工具！尽快拿下！

t-SNE的作用：当我们处理高维数据时，很难直观地理解数据之间的关系。t-SNE的目标是帮助我们在一个更低维度的空间中（通常是2D或3D）对数据进行可视化，同时保留数据点之间的相似性关系。通过一些数学变换，将原始信息从复杂的高维度（比如100维）变成一个简单的低维度（比如2维或3维）的样本分布图。

计算步骤：

  • t-SNE的核心思想是保持高维空间中数据点之间的相似性关系，尽量在低维空间中保持相似的关系。简单说，如果在高维空间中两个点很相似，它们在降维后的低维空间中仍然要尽量保持相似。

  • 这个算法的数学原理涉及到概率分布和距离的概念。它首先计算高维空间中点与点之间的相似性，使用一个概率分布来表示这种相似性。然后，在低维空间中，它再计算点与点之间的相似性，并构建另一个概率分布。

  • t-SNE的目标是最小化这两个概率分布之间的差异，以确保高维空间中相似的点在低维空间中仍然保持相似。这个差异通常通过使用KL散度（Kullback-Leibler divergence）来衡量。

简而言之，t-SNE让我们在一个更容易理解的低维空间中看到数据点，同时尽量保持原始数据点之间的相似性关系。这使得我们可以更好地理解数据的结构和模式，特别是在局部区域内的关系。

示例1：高维数据进行低维空间可视化

数据的特征（维度）越高，就越难以在低维空间中进行绘制，没有明显的规律性（散乱）;用t-SNE降维成二维或者三维较低空间时，数据样本的分布呈现出一定的规律（聚合）。

示例2：CNN-SVM卷积-支持向量机神经网络输入与输出的特征对比

观察刚输入的原始故障样本分布和模型提取特征后全连接层的样本特征分布。

 原始样本分布：（样本分散，分布混乱，无明显规律）

 模型提取特征后的样本分布：（不同故障样本分离，同类故障样本聚合，特征提取成功）

结果分析：与原始样本相比较，经特征提取后数据样本同类聚合明显，说明CNN-SVM网络模型具有很强的特征提取能力，可以实现有效的故障识别。

完整代码：https://mbd.pub/o/bread/ZZqamJls

Angelina_Jolie
关注
  • 11
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MATLAB源码集锦-基于t-sne算法的降维可视化实例
02-14
MATLAB源码集锦-基于t-sne算法的降维可视化实例
高分SCI必备！t-SNE降维，2个应用示例，特征可视化，可解释性，深度学习故障识别，回归预测的必备工具！不信你还不会！
weixin_48747334的博客
02-04 2212
你肯定见过这些顶级期刊在做论文中的特征可视化工具：t-SNE；出来的图都非常好看，能够给专家及读者留下非常好的印象，这是科研的必备工具！尽快拿下！
绘制t-SNE图
最新发布
Whalawhala的博客
05-26 597
如下图，下图来源于论文Contrastive Clustering一般用于分类问题/对比学习。
基于t-SNE降维的学生成绩聚类模型_ofgu4_t-SNE_python_whisperedvtt_聚类_
09-30
使用Python编写的小程序代码，基于t-SNE降维的学生成绩聚类模型。
【归纳总结】如何利用t-SNE可视化高维数据样本？附Python代码
坊间小木匠的博客
10-21 4037
t-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非线性降维和可视化技术，用于将高维数据映射到低维空间，以便更好地理解和分析数据。它在机器学习和数据可视化领域被广泛使用。t-SNE是由Laurens van der Maaten和Geoffrey Hinton于2008年提出的，它在原始高维空间中的样本之间创建了一种概率模型，并在低维空间中的样本之间创建了另一种概率模型。它通过最小化原始空间和低维空间中样本之间的差异来实现降维。
TSNE实现降维及可视化
lyy的博客
04-08 1万+
目录前言降维可视化举例： 前言 最近在看迁移学习需要观察迁移效果，需要把特征可视化来查看分布情况，所以需要用到降维可视化这个工具，所以在这里记录一下。 方法挺简单的，阅读本文大概5分钟。 降维 使用TSNE进行降维操作，该函数的输入是flatten之后的特征，即[batch,维度]。 接口参数解释： sklearn.manifold.TSNE(n_components=2, perplexity=30.0, early_exaggeration=12.0, learning_rate=200.0, n
T-sne 图片显示 分布
10-23
MATLAB 版本。t-sne,显示图片在tsne上的分布，不是点状图，需要自己准备图片数据
t-SNE 可视化
梦家の博客
11-29 7707
背景 t-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非常流行的非线性降维技术，主要用来对高维数据进行可视化，了解和验证数据或者模型。t-SNE属于流行学习（manifold learning），假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，...
t-SNE完整笔记
This is bill的专属博客
01-30 9972
t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据降维到2维或者3维，进行可视化。t-SNE是由SNE(Stochastic Neighbor Embeddin
实用篇 | T-SNE可视化工具详情及代码示例
weixin_44649780的博客
11-22 9088
TSNE，降维方法之一。在简要说明之后，让我们举一个如何在Python中实际使用T-SNE的例子。降维在机器学习中非常重要。这是因为如果使用高维数据创建模型，则很容易欠拟合。换句话说，有太多无用的数据需要学习。您可以通过从各种数据中仅选择最重要的数据在模型中使用它，也可以使用多个数据创建新数据并使其低维。无论如何，有必要将此类高维数据转换为低维数据。这称为降维。（还有其他方法可以创建要素，例如“特征消除”和“特征选择”。
t-SNE算法详解
qq_44015059的博客
06-10 2万+
前言 此处只作为自己学习理解的笔记之用，转载于https://blog.csdn.net/sinat_20177327/article/details/80298645 t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法，非常适用于高维数据降维到 2 维或者 3 维，进行可视化。在实际应用中，
MATLAB实现T-SNE降维特征可视化（完整源码和数据)
11-12
1.T-SNE降维特征可视化，MATLAB程序（完整源码和数据) 2.T-分布随机邻域嵌入，主要用途是对高维数据进行降维并进行可视化，以便更好地理解和发现数据之间的结构、模式和聚类关系。它被广泛应用于数据可视化、数据...
代码 基于t-sne算法的降维可视化实例
06-04
代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化...
ptsne.tar.gz_t-sne可视化_参数化t-sne 可视化 降维_数据可视化_数据降维_特征可视化
07-15
标题中的"ptsne.tar.gz_t-sne可视化_参数化t-sne 可视化 降维_数据可视化_数据降维_特征可视化"明确指出，这个压缩包文件与t-SNE（t-distributed Stochastic Neighbor Embedding）相关，特别是其参数化版本，该技术...
t-SNE进行分类可视化
xu.hyj
04-12 1万+
我们在论文中通常可以看到下图这样的可视化效果，这就是使用t-SNE降维方法进行的可视化，当然除了t-SNE还有其他的比如PCA等降维等方法，关于这些算法的原理有很多文章可以借阅，这里不展开阐释，重点讲讲如何进行可视化。
T-SNE笔记 无痛理解
qq_45737639的博客
02-26 2665
首先看下面两个图， 作左图是t-SNE降维后得到的，有图是PCA 降维后得到的。很明显t-SNE将分的更加清晰，而PCA则重叠严重。 t-sne 是一种非线性的降维方法，一般可视化用的比较多，利用t-sne 可以把高维数据降维到2维或者3维空间上，然后各个数据点跟自己在高维空间上相近的数据点聚集在一起 好比空中漂浮的不同颜色的小球 让它们落地后 再根据原本在空中的聚集情况聚集在一起。 t-sne的...
t-SNE算法
热门推荐
CongliYin的博客
05-13 3万+
t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法，非常适用于高维数据降维到 2 维或者 3 维，进行可视化。在实际应用中，t-SNE很少用于降维，主要用于可视化，可能的原因有以下几...
机器学习笔记 - 什么是t-SNE？
学以致用 知行合一
04-24 5829
t-SNE 与 PCA 的不同之处在于仅保留小的成对距离或局部相似性，而 PCA 关注的是保留大的成对距离以最大化方差。Laurens 使用图1 中的 Swiss Roll 数据集很好地说明了 PCA 和 t-SNE 方法。您可以看到，由于这个玩具数据集（流形）的非线性和保留较大的距离，PCA 会错误地保留数据的结构。
降维算法之t-SNE (t-Distributed Stochastic Neighbor Embedding)
极光喵的博客
03-16 2039
在t-SNE算法中，高维空间的相似度是通过高斯（正态）分布计算的，而低维空间的相似度是通过t分布（具体来说是自由度为1的t分布，也叫做柯西分布）计算的。– 输入：这里的输入是低维空间中的点的坐标（初始通常是随机的），我们通过梯度下降来更 新这些坐标，使得低维空间中的相似度矩阵 Q 接近高维空间的相似度矩阵 P。– 标签: 在这个优化问题中，我们可以将高维空间中的点的相似度 P 视作是“标签”，因为我们 的目标是使低维空间中的点的相似度 Q 尽可能地接近 P。我们可以考虑一个更复杂的例子。
dann特征提取器t-sne降维可视化代码
06-02
以下是使用 PyTorch 和 scikit-learn 实现的 DANN 特征提取器 t-SNE 降维可视化代码： ```python import torch import torch.nn.functional as F import matplotlib.pyplot as plt from sklearn.manifold import TSNE # 加载数据集 train_loader = torch.utils.data.DataLoader( torchvision.datasets.MNIST('/files/', train=True, download=True, transform=torchvision.transforms.Compose([ torchvision.transforms.ToTensor(), torchvision.transforms.Normalize( (0.1307,), (0.3081,)) ])), batch_size=64, shuffle=True) # 定义 DANN 特征提取器 class FeatureExtractor(torch.nn.Module): def __init__(self): super(FeatureExtractor, self).__init__() self.conv1 = torch.nn.Conv2d(1, 64, kernel_size=5) self.conv2 = torch.nn.Conv2d(64, 50, kernel_size=5) self.conv2_drop = torch.nn.Dropout2d() self.fc1 = torch.nn.Linear(50*4*4, 100) self.fc2 = torch.nn.Linear(100, 10) def forward(self, x): x = F.relu(F.max_pool2d(self.conv1(x), 2)) x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2)) x = x.view(-1, 50*4*4) x = F.relu(self.fc1(x)) x = F.dropout(x, training=self.training) x = self.fc2(x) return x # 加载模型参数 model = FeatureExtractor() model.load_state_dict(torch.load('dann_feature_extractor.pth')) # 提取特征向量 features = [] labels = [] for data, target in train_loader: features.append(model(data).detach().numpy()) labels.append(target.detach().numpy()) features = np.concatenate(features, axis=0) labels = np.concatenate(labels, axis=0) # 使用 t-SNE 进行特征降维 tsne = TSNE(n_components=2, random_state=0) features_tsne = tsne.fit_transform(features) # 可视化降维后的特征向量 for i in range(10): plt.scatter(features_tsne[labels==i, 0], features_tsne[labels==i, 1], label=str(i)) plt.legend() plt.show() ``` 这里使用了 MNIST 数据集进行测试，可以替换成其他数据集。运行代码后将会显示出降维后的特征向量的散点图。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值