t-SNE降维可视化

已于 2022-11-10 18:44:51 修改
阅读量1.5k 收藏 9
点赞数
分类专栏： 计算机视觉 文章标签： 深度学习
于 2022-04-21 20:25:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45104951/article/details/124330539
版权

目录

 1.高斯分布：

 2.卡方分布：

 3.t分布

4. t-SNE（t-Distributed Stochastic Neighbor Embedding）

 （1）在高维空间构建一个概率分布拟合高维样本点间的相对位置关系。

 （2）在低维空间，也构建一个概率分布，拟合低维样本点之间的位置关系。

5. SNE的缺点以及解决措施

 1.高斯分布：

 2.卡方分布：

 若n个相互独立的随机变量， 均服从标准正态分布（独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律成为x2分布，参数n=v，记为Q~x2（v）。

 3.t分布

设随机变量X~ N(0,1)（标准正态分布）,Y~x2 (n)（自由度为n的卡方分布），且X与Y相互独立，则称随机变量 服从自由度为n的t分布，t分布在自由度较低时相对标准正态分布表现更柔和（矮胖）。记为：

4. t-SNE（t-Distributed Stochastic Neighbor Embedding）

 （1）在高维空间构建一个概率分布拟合高维样本点间的相对位置关系。

以样本xi为中心，不同样本点与xi的相对位置的概率分布。

 衡量两个样本间的距离，距离越大，概率 越小。分母累加求和为了归一化。

 （2）在低维空间，也构建一个概率分布，拟合低维样本点之间的位置关系。

（3） 通过学习，调整低维数据点，令两个分布接近。利用KL散度（距离）衡量两个分布之间的差异。通过梯度下降调整低维空间的样本点y使得C变小，实现降维。

目标：yi对应xi投影到低维空间，调整yj使得KL散度（可看做损失函数）最小，即低维空间与高位空间的位置分布尽可能一致。

本质：高维空间样本位置关系的分布投影至低维空间时保持不变。

5. SNE的缺点以及解决措施

（1）距离不对称， 利用联合概率代替条概率。

 

（2）拥挤现象

从高维到低维进行转换的过程中，低维点的距离无法建模高维点之间的位置关系。高维空间中距离较大的点对，在低维空间距离会变得较小。

解决：利用拖尾较大的t分布对低维点建模。

 

使用t分布后，在正态分布中距离较小的点，可保持相同的概率在t分布中获得更小的距离（拉近高维空间中距离较近的点）。在正态分布中距离较大的点，可保持相同的概率在t分布中获得更大的距离（排斥高维空间中距离较远的点）。

（3）的物理意义，影响高维空间中高斯分布的形状，

类似于K紧邻中的搜索半径，当xi临近点较多时，减小 ；当xi临近点较少时，增大 。

t-SNE是一种集降维与可视化于一体的技术，它是基于SNE可视化的改进，解决了SNE在可视化后样本分布拥挤、边界不明显的特点，是目前最好的降维可视化手段。

t-SNE目标函数：原空间与嵌入空间样本分布之间的KL散度。

t-SNE优化算法：梯度下降。

t-SNE注意问题：KL散度作目标函数是非凸的，对初值敏感，需要多次初始化以防止陷入局部次优解

（4）影响效果的参数

perplexity 混乱度。混乱度越高，t-SNE将考虑越多的邻近点，更关注全局。因此，对于大数据应该使用较高混乱度，较高混乱度也可避免噪声的影响。相对而言，该参数对可视化效果影响不大。

early exaggeration factor 该值表示期望的簇间距大小，如果太大的话（大于实际簇的间距），将导致目标函数无法收敛。相对而言，该参数对可视化效果影响较小，默认就行。

learning rate 学习率。关键参数，根据具体问题调节。

maximum number of iterations 迭代次数。迭代次数不能太低，建议1000以上。

angle (not used in exact method) 角度。相对而言，该参数对效果影响不大。

T-SNE就是一种数据降维的算法，其成立的前提是基于这样的假设：尽管现实世界中的许多数据集是嵌入在高维空间中，但是都具有很低的内在维度。即高维数据经过降维后，在低维状态下更能显示出其本质特性。这就是流行学习的基本思想，也称为非线性降维。

 python的学习还是要多以练习为主，想要练习python的同学，推荐可以去看，他们现在的IT题库内容很丰富，属于国内做的很好的了，而且是课程+刷题+面经+求职+讨论区分享，一站式求职学习网站，最最最重要的里面的资源全部免费。

牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网求职之前，先上牛客，就业找工作一站解决。互联网IT技术/产品/运营/硬件/汽车机械制造/金融/财务管理/审计/银行/市场营销/地产/快消/管培生等等专业技能学习/备考/求职神器，在线进行企业校招实习笔试面试真题模拟考试练习，全面提升求职竞争力，找到好工作，拿到好offer。https://www.nowcoder.com/link/pc_csdncpt_ssdxjg_python

他们这个python的练习题，知识点编排详细，题目安排合理，题目表述以指导的形式进行。整个题单覆盖了Python入门的全部知识点以及全部语法，通过知识点分类逐层递进，从Hello World开始到最后的实践任务，都会非常详细地指导你应该使用什么函数，应该怎么输入输出。

牛客网（牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网）还提供题解专区和讨论区会有大神提供题解思路，对新手玩家及其友好，有不清楚的语法，不理解的地方，看看别人的思路，别人的代码，也许就能豁然开朗。

快点击下方链接学起来吧！

牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推，求职就业一站解决_牛客网

参考：

(1条消息) t-SNE高维数据可视化（python）_haoji007的博客-CSDN博客_python高维数据可视化https://blog.csdn.net/haoji007/article/details/94962952python与人工智能-数据降维-t-SNE_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1cU4y1w74A?spm_id_from=333.337.top_right_bar_window_history.content.click

山上的小酒馆
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习笔记 - 什么是t-SNE？
学以致用 知行合一
04-24 5756
t-SNE 与 PCA 的不同之处在于仅保留小的成对距离或局部相似性，而 PCA 关注的是保留大的成对距离以最大化方差。Laurens 使用图1 中的 Swiss Roll 数据集很好地说明了 PCA 和 t-SNE 方法。您可以看到，由于这个玩具数据集（流形）的非线性和保留较大的距离，PCA 会错误地保留数据的结构。
【归纳总结】如何利用t-SNE可视化高维数据样本？附Python代码
坊间小木匠的博客
10-21 3428
t-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非线性降维和可视化技术，用于将高维数据映射到低维空间，以便更好地理解和分析数据。它在机器学习和数据可视化领域被广泛使用。t-SNE是由Laurens van der Maaten和Geoffrey Hinton于2008年提出的，它在原始高维空间中的样本之间创建了一种概率模型，并在低维空间中的样本之间创建了另一种概率模型。它通过最小化原始空间和低维空间中样本之间的差异来实现降维。
机器学习 高维数据可视化：t-SNE 降维算法
小嗷犬的博客
12-16 1892
t-SNE 的全称为 t-Distributed Stochastic Neighbor Embedding，是一种非线性降维算法，它可以将高维数据映射到低维空间，同时保持数据间的相对距离不变。t-SNE 通常用于可视化高维数据，它可以将高维数据映射到二维或三维空间，从而可以通过图形的方式展示数据的特征。相比于 PCA 等线性降维算法，t-SNE 能够更好地保留数据的局部结构，因此在可视化高维数据时，t-SNE 通常能够展示出更好的效果。
t-SNE 可视化
梦家の博客
11-29 7633
背景 t-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非常流行的非线性降维技术，主要用来对高维数据进行可视化，了解和验证数据或者模型。t-SNE属于流行学习（manifold learning），假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，...
t-SNE完整笔记
This is bill的专属博客
01-30 9931
t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据降维到2维或者3维，进行可视化。t-SNE是由SNE(Stochastic Neighbor Embeddin
实用篇 | T-SNE可视化工具详情及代码示例
weixin_44649780的博客
11-22 8017
TSNE，降维方法之一。在简要说明之后，让我们举一个如何在Python中实际使用T-SNE的例子。降维在机器学习中非常重要。这是因为如果使用高维数据创建模型，则很容易欠拟合。换句话说，有太多无用的数据需要学习。您可以通过从各种数据中仅选择最重要的数据在模型中使用它，也可以使用多个数据创建新数据并使其低维。无论如何，有必要将此类高维数据转换为低维数据。这称为降维。（还有其他方法可以创建要素，例如“特征消除”和“特征选择”。
t-SNE算法详解
qq_44015059的博客
06-10 2万+
前言 此处只作为自己学习理解的笔记之用，转载于https://blog.csdn.net/sinat_20177327/article/details/80298645 t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法，非常适用于高维数据降维到 2 维或者 3 维，进行可视化。在实际应用中，
t-SNE算法
热门推荐
CongliYin的博客
05-13 3万+
t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法，非常适用于高维数据降维到 2 维或者 3 维，进行可视化。在实际应用中，t-SNE很少用于降维，主要用于可视化，可能的原因有以下几...
MATLAB实现T-SNE降维特征可视化（完整源码和数据)
11-12
1.T-SNE降维特征可视化，MATLAB程序（完整源码和数据) 2.T-分布随机邻域嵌入，主要用途是对高维数据进行降维并进行可视化，以便更好地理解和发现数据之间的结构、模式和聚类关系。它被广泛应用于数据可视化、数据...
t-sne降维可视化实例matlab
01-19
本实例“t-sne降维可视化实例matlab”提供了在MATLAB环境中使用T-SNE进行数据降维和可视化的具体步骤，特别适用于手写数字识别等应用。 T-SNE的核心思想是通过最大化高维空间中相似点在低维表示中的相似度，同时...
MATLAB源码集锦-基于t-sne算法的降维可视化实例
02-14
MATLAB源码集锦-基于t-sne算法的降维可视化实例
代码 基于t-sne算法的降维可视化实例
06-04
代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化实例代码 基于t-sne算法的降维可视化...
t-sne算法matlab原函数
01-19
T-distributed Stochastic Neighbor Embedding（T-SNE）是一种非线性的降维技术，主要用于高维数据的可视化。它能够将高维数据映射到二维或三维空间中，同时保持局部结构，使得数据的分布特性得以保留，便于观察和...
T-SNE简介
weixin_42936560的博客
02-21 2989
Q：什么是T-SNE，为什么可视化词向量的时候不使⽤PCA, ⽽使⽤TSNE? t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法，非常适用于高维数据降维到 2 维或者 3 维，进行...
t-SNE概述
我的备忘录
03-08 833
t-SNE是在词向量降维中广泛使用的算法, 它的思路很简单, 假设N个词的词向量分布在空间中, 1.设置一N×N的相似度矩阵, 通过某种计算词与词之间相似度的方法进行填充, 理想情况下这个矩阵就包含了所有词语之间的空间关系. 2.在一个低维空间中随机初始化那N个词的位置, 计算词与词之间的相似度, 与矩阵的相似度比较, 并调整其位置使相似度接近, 直至相似度一致. ...
降维算法之t-SNE (t-Distributed Stochastic Neighbor Embedding)
极光喵的博客
03-16 1782
在t-SNE算法中，高维空间的相似度是通过高斯（正态）分布计算的，而低维空间的相似度是通过t分布（具体来说是自由度为1的t分布，也叫做柯西分布）计算的。– 输入：这里的输入是低维空间中的点的坐标（初始通常是随机的），我们通过梯度下降来更 新这些坐标，使得低维空间中的相似度矩阵 Q 接近高维空间的相似度矩阵 P。– 标签: 在这个优化问题中，我们可以将高维空间中的点的相似度 P 视作是“标签”，因为我们 的目标是使低维空间中的点的相似度 Q 尽可能地接近 P。我们可以考虑一个更复杂的例子。
t-SNE
Chenzhinan1219的博客
09-23 1270
t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据降维到2维或者3维，进行可视化。 t-SNE是由SNE(Stochastic Neighbor Embedding, SNE; Hinton and Roweis, 2002)发展而来。我们先介绍SNE的基本原理，之后再
降维方法——t_SNE原理及python代码详解
m0_51870122的博客
09-05 2958
t_SNE原理和公式，有python代码，把手写数字数据集降为二维
深度学习评价指标：Precision, Recall, F1-score, mIOU, 和 mDice
最新发布
weixin_45596561的博客
06-30 230
精确率（Precision）：衡量模型预测的正类样本中实际为正类的比例。召回率（Recall）：衡量模型对实际正类样本的识别能力。F1-score：精确率和召回率的调和平均数。平均交并比（mIOU）：衡量模型在语义分割任务中的整体性能。平均Dice系数（mDice）：衡量模型在分割任务中的效果，尤其对小目标更加敏感。通过理解和应用这些评价指标，可以更全面地评估模型的性能，从而更好地改进模型。如果有任何问题或需要进一步的解释，欢迎在评论区留言。
dann特征提取器t-sne降维可视化代码
06-02
以下是使用 PyTorch 和 scikit-learn 实现的 DANN 特征提取器 t-SNE 降维可视化代码： ```python import torch import torch.nn.functional as F import matplotlib.pyplot as plt from sklearn.manifold import TSNE # 加载数据集 train_loader = torch.utils.data.DataLoader( torchvision.datasets.MNIST('/files/', train=True, download=True, transform=torchvision.transforms.Compose([ torchvision.transforms.ToTensor(), torchvision.transforms.Normalize( (0.1307,), (0.3081,)) ])), batch_size=64, shuffle=True) # 定义 DANN 特征提取器 class FeatureExtractor(torch.nn.Module): def __init__(self): super(FeatureExtractor, self).__init__() self.conv1 = torch.nn.Conv2d(1, 64, kernel_size=5) self.conv2 = torch.nn.Conv2d(64, 50, kernel_size=5) self.conv2_drop = torch.nn.Dropout2d() self.fc1 = torch.nn.Linear(50*4*4, 100) self.fc2 = torch.nn.Linear(100, 10) def forward(self, x): x = F.relu(F.max_pool2d(self.conv1(x), 2)) x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2)) x = x.view(-1, 50*4*4) x = F.relu(self.fc1(x)) x = F.dropout(x, training=self.training) x = self.fc2(x) return x # 加载模型参数 model = FeatureExtractor() model.load_state_dict(torch.load('dann_feature_extractor.pth')) # 提取特征向量 features = [] labels = [] for data, target in train_loader: features.append(model(data).detach().numpy()) labels.append(target.detach().numpy()) features = np.concatenate(features, axis=0) labels = np.concatenate(labels, axis=0) # 使用 t-SNE 进行特征降维 tsne = TSNE(n_components=2, random_state=0) features_tsne = tsne.fit_transform(features) # 可视化降维后的特征向量 for i in range(10): plt.scatter(features_tsne[labels==i, 0], features_tsne[labels==i, 1], label=str(i)) plt.legend() plt.show() ``` 这里使用了 MNIST 数据集进行测试，可以替换成其他数据集。运行代码后将会显示出降维后的特征向量的散点图。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山上的小酒馆

谢谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值