【机器学习】必会降维算法之：多维缩放（MDS）

Carl_奕然

于 2024-05-30 12:50:27 发布

阅读量1.1k

点赞数 11

分类专栏：【机器学习】&【深度学习】文章标签：机器学习算法人工智能

本文链接：https://blog.csdn.net/wuyoudeyuer/article/details/139171595

版权

【机器学习】&【深度学习】专栏收录该内容

50 篇文章 12 订阅

订阅专栏

多维缩放（MDS）

1、引言
2、多维缩放（MDS）
3、总结

1、引言

小鱼：最近小屌丝在休假，难得的清闲，我这也闲言少叙，书归正传，
咱就聊一聊 降为算法之：多维缩放(MDS)

在机器学习和数据科学领域，多维缩放（Multidimensional Scaling，简称MDS）是一种常用的降维技术。

它能够在尽可能保留原始数据点间距离的前提下，将高维数据映射到低维空间中。

2、多维缩放（MDS）

2.1 定义

多维缩放（MDS）是一种统计学方法，用于分析相似度或距离的数据。

它的目标是在低维空间中定位一组对象，使得这些对象之间的距离尽可能地与原始高维空间中的距离相匹配。

2.2 应用场景

MDS在多个领域都有广泛的应用，包括但不限于：

市场研究：分析消费者对不同产品或服务的感知和偏好，帮助企业进行市场定位和产品差异化策略的制定。
品牌管理：通过降维后的二维或三维空间图展示不同品牌之间的相似性和差异性，优化品牌组合和提升品牌价值。
消费者行为分析：分析消费者的购买行为和偏好，识别消费者群体，制定个性化的营销策略。
聚类分析：在聚类分析中，MDS可以帮助我们更好地理解不同类别之间的关系和差异。
可视化：对于高维数据的可视化，MDS是一种非常有效的工具，它可以将数据映射到二维或三维空间中进行展示。

2.3 核心原理

MDS的核心原理是通过优化目标函数来实现高维到低维的映射。
这个目标函数通常包含两个部分：

一是保持原始数据中对象间距离的近似度（stress函数），
二是映射到低维空间的约束条件

MDS试图找到一个低维空间中的点阵P，使得P中各点之间的距离与原始数据中对应对象间的相似性或距离度量尽可能接近。

2.4 实现方式

MDS算法通常分为两大类：度量MDS（Metric MDS, MMDS）和非度量MDS（Non-metric MDS, NMDS）。

度量MDS：它假设原始数据中的距离度量（如欧氏距离）在低维空间中仍然有效。度量MDS试图找到一个低维空间中的点阵，使得该空间中的距离度量与原始数据中的距离度量尽可能一致。
非度量MDS：它放松了度量MDS的假设，即原始数据中的距离度量在低维空间中可能不再有效。非度量MDS只关注对象间距离的排序关系，而不是具体的距离值。

在这里插入图片描述

2.5 算法公式

MDS算法的具体实现涉及优化一个目标函数，该目标函数通常是一个称为“应力”（stress）的量。应力是布局中距离与相似性矩阵中值的偏差平方和，用于量化低维空间中数据点之间的距离与原始高维空间中数据点之间的距离之间的差异。

目标函数（stress函数）可以表示为：

$\sqrt{\frac{\sum_{i<j} (d_{ij} - \delta_{ij}(P))^2}{\sum_{i<j} d_{ij}^2}} ]$

其中， $d_{ij})$ 是原始数据中对象i和j之间的距离或相似性度量， $(\delta_{ij}(P))$ 是它们在低维空间中的距离或相似性度量，P是低维空间中的点阵。

2.6 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-05-22
# @Author : Carl_DJ

from sklearn.manifold import MDS
import matplotlib.pyplot as plt

# 假设X是一个(n_samples, n_features)的数据矩阵
X = ...  # 高维数据矩阵

# 初始化MDS模型
mds = MDS(n_components=2)  # n_components是目标低维空间的维数

# 在低维空间中重构数据
X_transformed = mds.fit_transform(X)

# 可视化
plt.scatter(X_transformed[:, 0], X_transformed[:, 1])
plt.xlabel('MDS1')
plt.ylabel('MDS2')
plt.title('MDS Visualization')
plt.show()