机器学习降维算法之多维缩放（MDS）

最新推荐文章于 2024-05-30 12:50:27 发布
最新推荐文章于 2024-05-30 12:50:27 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21768483/article/details/82425229
版权

简介

   多维缩放（Mutiple Dimensional Scaling）是一种经典的降维方法，可以缓解在高维情形下出现的数据样本稀疏和距离计算困难等问题，即“维数灾难”.

感性认知

只是直观是这样的感觉真实的计算需要查看原理部分

原本样本的维数

样本特征1特征2特征3特征4
A1023
B2048
C4059

 

距离矩阵

样本ABC
A02-1+4-2+8-3=84-1+5-2+7-3=10
B804-2+5-4+9-8=4
C1040

 

经过多维缩放（MDS）之后特征（直观示例）

样本特征1特征3特征4
A123
B248
C459

降维后的距离矩阵

样本ABC
A02-1+4-2+8-3=84-1+5-2+7-3=10
B804-2+5-4+9-8=4
C1040

降维后仍然使距离矩阵不变

 

原理部分参考

https://blog.csdn.net/irene_loong/article/details/72574133

Matrix-yang
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
降维与度量学习
wangqi1113的博客
05-25 3688
KNN–k近邻学习 KNN基于某种距离度量在训练集中找出与其距离最近的k个带有真实标记的训练样本，然后给基于这k个邻居的真实标记来进行预测 分类任务：投票法或者加权投票法(基于距离远近，距离越近的样本权重越大) 回归任务：平均法或者加权平均法(基于距离远近，距离越近的样本权重越大) KNN算法的核心在于k值的选取以及距离的度量。k值选取太小，模型很容易受到噪声数据的干扰，例如：极端地...
MDS多维缩放详解
tian_tian_hero的博客
05-11 3615
一开始先上两幅图是因为通过上图我们可以对降维有一个直观形象的了解。降维亦称“维数约简”，是经过某种数学变换将原始高维属性空间变为一个低维“子空间”。在这个子空间中样本密度大幅度提高，距离计算也变得更为容易。为什么能进行降维？因为在很多时候，人们观测或收集到的数据样本虽是高维的，但是与学习任务密切相关的也许仅是某个低维分布，即高维空间中的一个低维嵌入。上图给出了一个直观的例子，原是高维空间中的样本...
多维缩放 MDS
温染的笔记
04-15 3186
多维缩放 多维缩放（Multiple Dimensional Scaling，简称 MDS）是一种经典的降维方法，要求原始空间中样本之间的距离在低维空间中得以保持。 推导过程 假定 n 个样本在原始空间的距离矩阵为 D∈Rn×nD \in R^{n \times n}D∈Rn×n，其中第 i 行 j 列的元素 distijdist_{ij}distij​ 为样本 xix_ixi​ 到 xjx_jx...
MDS降维_机器学习
4AM_明朝百晓生
10-16 1753
前言： 多维标度分析（multidimensional scaling ,MDS）是一组通过直观的空间图（spatial map), 表示研究对象的感知和偏好的分析方法 核心思想是降维后，点与点之间的欧式距离不变 目录 简介 算法模型 推导过程 算法流程 Code 实例 一 简介 原始空间数据集为, 为m个k...
【机器学习】必会降维算法之：多维缩放（MDS）
最新发布
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-30 1716
必会降维算法之：多维缩放
机器学习降维算法MDS、ISPOMAP
weixin_48293076的博客
11-19 2153
1、介绍 首先先看一些定义  流形，是局部具有欧几里得空间性质的空间，能用欧氏距离来进行距离计算。  同胚，在拓扑学中，两个流形，如果可以通过弯曲、延展、剪切(只要最终完全沿着当初剪开的缝隙再重新粘贴起来)等操作把其中一个变为另一个，则认为两者是同胚的。故也可以称流形是在局部与欧式空间同胚的空间。  测地线距离，空间中两点的局域最短或最长路径 如图：蓝色实线表示测地距离，蓝色虚线是传统上我们所认识的欧氏距离 用流形在局部上与欧氏空间同胚这个性质，对每个点基于欧氏距离找出其近邻点，然后就能建立一个近邻
数据可视化——多维缩放（MultiDimensional Scaling）
huguozhiengr的博客
07-30 7555
在上一篇博文《主成分分析》中，遗留了一个问题，即“降维后得到的主成分分量含义（或者说其代表什么意思）是什么？”，我在一本书上看到过一个例子，这里就用该例子对遗留问题做些说明。 ” Huba et al.(1981).收集了1684位洛杉矶学生消费13种合法和不合法兴奋性物质的数据，这些物质有：香烟、啤酒、红酒、酒精、可卡因、镇定剂、用于达到高潮的药房药剂、吗...
「机器学习算法」多维缩放（MDS）
Irene_Loong的博客
05-20 4432
多维缩放（Mutiple Dimensional Scaling）是一种经典的降维方法。为了有效降维，仅需降维后的距离与原始空间中的距离尽可能接近。通过这种方法可以缓解在高维情形下出现的数据样本稀疏和距离计算困难等问题，即“维数灾难”.
MDS降维原理1
08-03
多维缩放（Multiple Dimensional Scaling，简称MDS）是一种在数据挖掘和机器学习领域广泛应用的线性降维技术。它的核心目标是将高维度数据映射到低维度空间中，同时保持原始数据点间的相对距离关系。这有助于简化...
第十章 降维与度量学习1
08-08
常用降维方法包括主成分分析(PCA)、多维缩放(MDS)、线性判别分析(LDA)等。 【K 近邻学习（kNN）】是一种经典的监督学习算法，尤其适用于分类任务。kNN 的工作原理是基于距离度量找到测试样本的k个最近邻，然后依据...
第十章 降维与度量学习 -by- VAY-长跑 - CSDN博客1
08-03
多维缩放（Multi-Dimensional Scaling, MDS）是另一种降维方法，其目标是保持原始样本间距离不变。给定原始空间中的样本距离矩阵，MDS尝试在低维空间中重构该距离结构，以保留样本间的相对位置关系。这种方法常用于...
多维缩放(multidimensional scaling ,MDS)(Python)
05-31
多维缩放(multidimensional scaling ,MDS)，是另外一种线性降维方式，与主成分分析法和线性降维分析法都不同的是，多维缩放的目标不是保留数据的最大可分性，而是更加关注与高维数据内部的特征。多维缩放算法集中于保留高维空间中的“相似度”信息，而在一般的问题解决的过程中，这个“相似度”通常用欧式距离来定义。
Su－2-降维-竖版1
08-04
【降维算法】是机器学习领域中用于处理高维数据的一种技术，其目的是减少数据的复杂性，同时保持数据中的关键信息。降维的主要原因是高维数据可能导致所谓的“维数灾难”，即随着维度的增加，数据点之间的距离变得...
多维缩放和聚类
02-18
在IT领域，多维缩放（Multidimensional Scaling, MDS）和聚类（Clustering）是两种常用的数据分析技术，常用于处理高维数据，帮助我们理解和挖掘数据中的结构和模式。这两种方法在诸如机器学习、数据挖掘、社会网络...
多维度缩放——MDS
lost-person的博客
02-12 680
我们知道，缓解“维度灾难”的一个重要方法就是降维，即通过某种数学变换将原始高维属性空间转变为一个低维空间。而多维度缩放，就是其中的一个经典算法。 简介 多维度缩放，英文全称为Multiple Dimension Scaling，简称为MDS。其基本想法是: 降维后的低维空间d′d^{'}d′的欧式距离等于原始空间ddd的欧式距离。然而，它又是如何实现的呢？ 数学推导 假定mmm...
多维缩放(Multiple Dimensional Scaling, MDS)
qq_41168327的博客
03-16 980
主要思想是构造低维空间的内积矩阵，使得该内积矩阵中所表达的任意两点之间的距离与高维空间的相应两点距离相等，然后通过对该内积矩阵进行正交特征值分解，析出两个矩阵相乘(即矩阵与矩阵的转置进行相乘)的形式，获得最终的变换矩阵。 ...
机器学习——多维缩放MDS
菜到怀疑人生的博客
01-31 1387
以下内容均为个人理解，如有错误，欢迎指出 文章目录什么是多维缩放推导过程 什么是多维缩放 多维缩放（Mutiple Dimensional Scaling）是一种经典的降维方法，是一种无监督算法，其目的是使降维后的数据之间的距离保持不变 推导过程 符号表 符号名 含义 DDD m个样本在原始空间的距离矩阵 xix_ixi​ 第i个样本的坐标，维度为d distijdi...
多为缩放（MDS）
weixin_44345870的博客
12-13 2639
多维缩放（Multiple Dimensional Scaling，MDS） 1 绪论 假设任意测试样本????附近任意小的????距离范围内总能找到一个训练样本，即训练样本的采集密度足够大，或称为“密采样”（dense sample）。 然而，这个假设在现实任务中通常很难满足，例如????=0.001，仅考虑单个属性，则仅需1000个样本点平均分布在归一化后的属性取值范围内，即可使得任意测试样本在其附近0.001距离范围内总能找到一个训练样本，此时最近邻分类器（1NN）的错误率不超过贝叶斯最优分类器的
降维概述（I）
thystar的专栏
12-12 2725
在现实世界中，很多事物被表示为高维数据——如语音信号，图像，视频，文本文档，手写字母或数字，指纹和高光谱图像等。 我们通常需要分析和处理大量的数据，For instance， 我们需要鉴别person‘s fingerprint, 通过keyword在网络中搜索文档，去发现图像中某些潜在的模式，从视频中跟踪物体等等。 To complete these tasks， we develop syst
多维缩放 mds matlab
09-19
多维缩放（Multiple Dimensional Scaling，MDS）是一种机器学习方法，用于将高维数据降维到低维空间中。在MATLAB中，可以使用MDS算法进行降维操作。该算法的目的是保持降维前后数据点之间的欧氏距离不变。 下面是使用MATLAB进行MDS降维的代码示例： ``` clear; clc; a = 10; % 长 b = 5; % 宽 n = 100; % 点数量 % 产生随机点 cxd1 = a*rand(n,1); cxd2 = b*rand(n,1); cxd = [cxd1 cxd2]; % 计算点之间的欧氏距离 dist = zeros(n,n); for i = 1:n for j = 1:n a = cxd(i,:); b = cxd(j,:); dist(i,j) = sqrt((a-b)*(a-b)'); end end % 计算内积矩阵 m = n; DSquare = dist.^2; for i = 1:m DSquare_j(i) = 1/m*sum(DSquare(i,:)); end for j = 1:size(DSquare,1) DSquare_i(j) = 1/m*sum(DSquare(:,j)); end DSquare_ij = 1/m^2*sum(sum(DSquare(:,:))); B = zeros(m,m); for i = 1:m for j = 1:m B(i,j) = -1/2*(DSquare(i,j) - DSquare_j(i) - DSquare_i(j) + DSquare_ij); end end % 特征值分解，保留最大的k个特征值 [V,D] = eig(B); D = diag(D); [D, I] = sort(D, 'descend'); k = 2; % 降维后的维度 d = D(1:k); v = V(:, I(1:k)); % 对降维后的数据进行可视化 Z = d.^0.5*v'; figure(2) plot(Z(1,:),Z(2,:),'o'); ``` 上述代码中，我们首先生成了一个二维的随机点集，然后计算点之间的欧氏距离。接下来，根据欧氏距离计算内积矩阵，并进行特征值分解。最后，将降维后的数据进行可视化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值