机器学习中的降维方法——————多维缩放(MDS)&& 等度量映射(IsoMap)

最新推荐文章于 2023-03-16 14:43:58 发布
最新推荐文章于 2023-03-16 14:43:58 发布
阅读量752 收藏 1
点赞数
分类专栏： 葫芦爷救娃娃
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HowardEmily/article/details/105018518
版权
葫芦爷救娃娃 专栏收录该内容
44 篇文章 94 订阅 ¥59.90 ¥99.00
订阅专栏
本文介绍了机器学习中的两种降维方法——多维缩放（MDS）和等度量映射（Isomap）。MDS旨在保持样本在原空间和低维空间的距离不变，通过特征值分解实现降维。Isomap则针对数据在流形上的分布，采用测地距离，通过最短路径算法计算距离。这两种方法都是为了解决高维数据带来的问题，如数据稀疏和计算困难。
摘要由CSDN通过智能技术生成

关于降维

降维:通过某种数字变换将原始高维属性空间转变为一个低维"子空间",在这个子空间中样本密度大幅提高,距离计算也变的更为容易。

为什么需要降维？

在高维情况下回出现数据样本稀疏、距离计算困难等问题,是所有机器学习方法共同面临的严重障碍,被称为“维数灾难”.

为什么能降维？

因为在很多时候,人们观测或收集到的数据样本虽是高维的,但与学习任务密切相关的也许仅是某个低维分布,即高维空间中的一个低维嵌入（embedding）.

多维缩放(MDS)

算法思想

MDS算法思想很简单，一句话就是保持样本在原空间和低维空间的距离不变。
因为距离是样本之间一个很好的分离属性，对于大多数聚类算法来说，距离是将样本分类的重要属性，因此当我们降维后，保持距离不变，那么就相当于保持了样本的相对空间关系不变。

MDS

假设n个样本在原始空间的距离矩阵为D,其第i行第j列的元素

了解本专栏 订阅专栏 解锁全文
Marcus-Bao
关注
专栏目录
订阅专栏
吴裕雄 python 机器学习——等度量映射Isomap降维模型
weixin_30257433的博客
04-30 490
# -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt from sklearn import datasets,manifold def load_data(): ''' 加载用于降维的数据 ''' # 使用 scikit-lea...
数据降维——多维缩放MDS
CodeTutor
11-10 9557
多维缩放（Multidimensional Scaling, MDS）是一组对象之间的距离的可视化表示，也可以当做一种无监督降维算法使用。为了直观了解MDS，给一个简单例子。假设现在给定一组城市之间的距离信息如下： 现在要求绘制一幅地图，在地图中标出所有城市，并且城市之间的距离等于上表中给出的距离。显然，这种图不是唯一的，因为平移、旋转操作并不改变距离。其中一种绘制方法如下图：MDS应用在数据降维
数据降维之多维缩放MDS（Multiple Dimensional Scaling）
weixin_30535843的博客
03-27 242
网上看到关于数据降维的文章不少，介绍MDS的却极少，遂决定写一写。 考虑一个这样的问题。我们有n个样本，每个样本维度为m。我们的目标是用不同的新的k维向量（k<<m）替代原来的n个m维向量，使得在新的低维空间中，所有样本相互之间的距离等于（或最大程度接近）原空间中的距离（默认欧氏距离）。 举个栗子：原来有3个4维样本(1,0,0,3),(8,0,0,5),(2,0,0,4...
降维系列之 MDS多维缩放 与 ISOMAP 等度量映射
BigYouYou
02-16 626
主要思路 MDS（Multi-dimensional Scaling）是一种经典的降维方法。本文主要参考这个PPT。 给定样本集X=[x1,⋯ ,xn]∈RD×nX=[x_1,\cdots,x_n]\in \mathbb{R}^{D\times n}X=[x1​,⋯,xn​]∈RD×n，其中nnn表示样本数量，DDD表示维度，每一列表示一个样本，以及一种满足如下条件的度量方式dabd_{ab}da...
机器学习----降维与度量学习（等度量映射和度量学习）
欢迎来到我的酒馆
05-04 2929
流行学习流行学习（manifold learning）是一类借鉴了拓扑流行概念的降维方法。“流行”是在局部与欧式空间同胚的空间。换言之，它在局部具有欧式空间的性质，能用欧式距离来进行距离计算。 这就很有灵性了！若低维空间能嵌入到高维空间中去，则可以很容易的进行降维。等度量映射等度量映射认为高维空间的直线距离，并不能很好的表现样本之间的距离。如下图所示： 高维空间中的AB直线距离并不准确，反而绿色
（《机器学习》完整版系列）第10章 降维与度量学习——10.8 流形学习（等度量映射Isomap算法、局部线性嵌入LLE算法）
最新发布
qiy_icbc的博客
03-16 325
拓扑“流形”是指局部与欧氏空间同胚的空间，简言之，形象地理解为： 流畅地“拼接”局部超平面（每一个“局部”都能都能视为欧氏空间）。 等度量映射策略：将空间中视为一个紧挨一个的“局部”拼接而成，而“局部”视为欧氏空间（定义了欧氏距离） 局部线性嵌入策略：它的局部是指$k$近邻，在局部可以用一个超平面替换（低维流形嵌入高维中），且这种嵌入具有“线性关系”不变的特点
MDS多维缩放详解
tian_tian_hero的博客
05-11 3654
一开始先上两幅图是因为通过上图我们可以对降维有一个直观形象的了解。降维亦称“维数约简”，是经过某种数学变换将原始高维属性空间变为一个低维“子空间”。在这个子空间中样本密度大幅度提高，距离计算也变得更为容易。为什么能进行降维？因为在很多时候，人们观测或收集到的数据样本虽是高维的，但是与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维嵌入。上图给出了一个直观的例子，原是高维空间中的样本...
机器学习数据预处理——降维
woor_的博客
01-15 4217
引言   在机器学习的训练过程中，总是会碰到样本大、特征多的数据集。而这些数据集里面的数据有些是用处很小甚至完全无用的。如果一组数据中的无用数据占比较大时，一方面会使得模型的训练时间边长，另一方面模型容易出现欠拟合现象；而如果一组数据中作用较小的数据，即在训练中不能较好体现数据集中样本特征的数据，这类数据占比较大时，除了会提升模型训练的时间以外，还容易引起模型的过拟合现象。   针对这种情况，我们需要对这组数据集进行一个数据的预处理，其主要的方法有降噪、特征筛选以及降维处理，而这次主要讲解如何进行降维处理以
西瓜书学习笔记——第十章：降维与度量学习
Andrewings
07-11 2108
10. 降维与度量学习10.1 k近邻学习10.2 低维嵌入经典降维方法：多维缩放(MDS)10.3 主成分分析 10.1 k近邻学习 k近邻学习（knn）是一种监督学习算法，它直接使用测试样本和训练样本，没有显示的训练过程，工作机制如下：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常，对于不同类型的任务，使用的预测方法不同： 分类任...
等度量映射(Isomap)(Python)
05-31
等度量映射(Isomap)是最经典的非线性映射降维方法之一，它在MDS的基础上引入了“测地距离”的概念，直接解决了MDS使用欧氏距离无法应对非线性流形的问题。
多维缩放(multidimensional scaling ,MDS)(Python)
05-31
多维缩放(multidimensional scaling ,MDS)，是另外一种线性降维方式，与主成分分析法和线性降维分析法都不同的是，多维缩放的目标不是保留数据的最大可分性，而是更加关注与高维数据内部的特征。多维缩放算法集中于保留高维空间中的“相似度”信息，而在一般的问题解决的过程中，这个“相似度”通常用欧式距离来定义。
机器学习-第十章降维与度量学习
11-22
k-近邻学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其靠近的......
【进阶版】 机器学习之主成分分析（PCA）、MDS算法、核化线性降维 （16）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1484
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
流形学习漫谈一：多维缩放(Multiple Dimensional Scaling, MDS)
dzyha2011的专栏
10-07 3270
降维算法是机器学习中的重要一部分，通常用的比较多的算法有线性判别分析(LDA)与主成分分析(PCA)等。在此基础上，还有中算法，即流形学习，在计算机视觉中有着广泛的应用。由于直接计算高维特征空间的距离具有很高的错误率(如图所示，高维空间的距离并不合理)，例如，在现实生活中，计算北京到华盛顿之间的距离，如果直接透过地球内部直接计算两点之间直线距离是不合适的，最好的办法是围绕地球表面，在微小的局部上计...
等度量映射（Isometric Mapping，简称Isomap）
weixin_44345870的博客
12-13 4601
等度量映射（Isometric Mapping，简称Isomap） 1 绪论 在MDS中已经说明了为何要进行降维。而进行降维的一般有两类方法：特征选择和特征提取。 特征选择：根据一定的标准学则显著特征 特征提取：通过对所有特征进行变换来获取精简的特征集 对于降维方法中，经典的线性方法（例如主成分分析，PCA）存在一些不足，即无法发现螺旋的一维结构。Isomap就是处理此类问题的一种经典的非线性学习方法。 2 等度量映射 等度量映射（Isometric Mapping，Isomap）的基本观点同MDS
数据可视化——多维缩放（MultiDimensional Scaling）
huguozhiengr的博客
07-30 7584
在上一篇博文《主成分分析》中，遗留了一个问题，即“降维后得到的主成分分量含义（或者说其代表什么意思）是什么？”，我在一本书上看到过一个例子，这里就用该例子对遗留问题做些说明。 ” Huba et al.(1981).收集了1684位洛杉矶学生消费13种合法和不合法兴奋性物质的数据，这些物质有：香烟、啤酒、红酒、酒精、可卡因、镇定剂、用于达到高潮的药房药剂、吗...
降维之MDS（多维缩放）
kylin_learn的博客
09-04 1011
数据降维-多维尺度缩放（MDS）
u_say2what的博客
04-10 2761
多维尺度缩放（MDS）是一种比较经典的降维方法，它利用在低维度空间维持高维度空间的距离矩阵来学习数据在低维度空间的表示。算法如下： 以上算法来自西瓜书的截图。 python代码如下： #Multiple Dimensional Scaling,MDS,多维尺度缩放 #数据是按照行来排列的 #尽量让样本数目大于数据的维度 import numpy as np import matplo...
机器学习降维方法：K近邻与低维嵌入
第10章主要探讨了机器学习中的关键概念——降维与度量学习。降维是数据分析中常用的技术，旨在减少数据的维度，使得复杂问题在低维空间中更易于理解和处理。本章内容分为两个主要部分： 1. 特征选择与特征提取： -...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Marcus-Bao

万水千山总是情,只给五角行不行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值