算法金 | 欧氏距离算法、余弦相似度、汉明、曼哈顿、切比雪夫、闵可夫斯基、雅卡尔指数、半正矢、Sørensen-Dice

于 2024-07-02 23:44:13 发布
阅读量726 收藏 16
点赞数 15
分类专栏： 机器学习 数据分析 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43038668/article/details/140139026
版权


大侠幸会，在下全网同名「算法金」 0 基础转 AI 上岸，多个算法赛 Top 「日更万日，让更多人享受智能乐趣」

抱个拳，送个礼

在算法模型构建中，我们经常需要计算样本之间的相似度，通常的做法是计算样本之间的距离。 今天，一键拿下九种距离算法。走你~

一、欧氏距离 (Euclidean Distance)

定义与公式

欧氏距离是两个点在 n 维空间中直线距离的度量。它是最常见的距离度量方法之一，用于计算两个向量之间的距离。欧氏距离的公式如下：

应用场景

欧氏距离广泛应用于许多领域，如机器学习、统计学、模式识别和数据挖掘。常见的应用场景包括：

  • 分类算法：如 k 近邻 (k-Nearest Neighbors, KNN) 算法，通过计算新样本与训练样本之间的欧氏距离来进行分类
  • 聚类分析：如 k 均值 (k-Means) 聚类算法，通过计算样本与聚类中心之间的欧氏距离来确定样本所属的簇
  • 图像处理：用于度量图像之间的相似度，如图像检索和图像匹配

优缺点分析

优点：

  • 计算简单：欧氏距离的计算公式简单易懂，且计算量较小，适用于大多数应用场景
  • 直观性强：欧氏距离直接反映了两个点之间的几何距离，具有很强的直观性

缺点：

  • 对尺度敏感：不同维度的数值尺度差异会影响距离的计算结果，需要对数据进行标准化或归一化处理
  • 对异常值敏感：欧氏距离对数据中的异常值非常敏感，异常值可能会显著影响计算结果

欧氏距离（Euclidean Distance）

二、余弦相似度 (Cosine Similarity)

定义与公式

余弦相似度是一种衡量两个向量夹角余弦值的度量，常用于评估两个向量的相似度。公式如下：

应用场景

余弦相似度在许多领域有广泛应用，特别是文本和信息检索领域：

  • 文本相似度计算：在自然语言处理 (NLP) 中，余弦相似度用于计算两个文本或文档之间的相似度，通过比较它们的词频向量
  • 推荐系统：如用户-物品推荐系统，通过计算用户之间或物品之间的相似度来进行推荐
  • 图像相似度计算：在计算机视觉中，用于比较图像特征向量的相似度

优缺点分析

优点：

  • 不受向量长度影响：余弦相似度仅关注向量的方向，而不受向量的长度影响，适用于不同规模的数据
  • 计算简单：公式简单，计算效率高，适合大规模数据处理

缺点：

  • 无法反映数值大小的差异：余弦相似度仅考虑向量的方向，不考虑数值的大小，可能会忽略重要的数值信息
  • 对稀疏向量效果较差：对于稀疏向量（如文本数据中的词频向量），计算结果可能不准确，需要结合其他方法使用

余弦相似度（Cosine Similarity）

防失联，进免费知识星球，直达算法金 AI 实验室 https://t.zsxq.com/ckSu3

更多内容，见免费知识星球

三、汉明距离 (Hamming Distance)

定义与公式

汉明距离用于衡量两个等长字符串之间的不同字符个数。公式如下：

应用场景

汉明距离主要用于以下场景：

  • 错误检测和纠正：在通信和存储系统中，用于检测和纠正数据传输和存储中的错误，如汉明码
  • 基因序列分析：在生物信息学中，用于比较 DNA 和 RNA 序列之间的差异
  • 密码学：在密码分析中，用于比较不同密文之间的差异

优缺点分析

优点：

  • 计算简单：汉明距离的计算过程非常简单，适合大规模数据处理
  • 适用于离散数据：汉明距离特别适用于比较离散数据，如字符串和二进制数据

缺点：

  • 仅适用于等长字符串：汉明距离只能比较长度相同的字符串，对于长度不同的字符串无法计算
  • 不考虑字符位置的重要性：汉明距离只关注字符是否相同，不考虑字符在字符串中的位置重要性

汉明距离（Hamming Distance）

四、曼哈顿距离 (Manhattan Distance)

定义与公式

曼哈顿距离，又称为城市街区距离，是指两个点在 n 维空间中各个坐标轴上的距离之和。公式如下：

应用场景

曼哈顿距离在以下领域有广泛应用：

  • 数据挖掘和机器学习：如在 k 近邻 (KNN) 算法中，用于计算样本之间的距离
  • 图像处理：用于图像像素之间的距离计算，如图像匹配和分割
  • 机器人路径规划：在路径规划中，用于计算机器人在网格地图中的移动距离

优缺点分析

优点：

  • 计算简单：曼哈顿距离的计算公式简单，计算量较小，适用于大多数应用场景
  • 适用于高维数据：在高维空间中，曼哈顿距离比欧氏距离更稳定，不易受到个别维度异常值的影响

缺点：

  • 不适用于所有场景：曼哈顿距离在某些场景中可能不如欧氏距离直观，如需要考虑斜向移动的场景
  • 对尺度敏感：不同维度的数值尺度差异会影响距离的计算结果，需要对数据进行标准化或归一化处理

曼哈顿距离（Manhattan Distance）

抱个拳，送个礼

点击 ↑ 领取

防失联，进免费知识星球，直达算法金 AI 实验室 https://t.zsxq.com/ckSu3

免费知识星球，欢迎加入交流

五、切比雪夫距离 (Chebyshev Distance)

定义与公式

切比雪夫距离，又称为棋盘距离，是指两个点在 n 维空间中各个坐标轴上的最大距离。公式如下：

应用场景

切比雪夫距离在以下领域有应用：

  • 棋盘游戏：如国际象棋中，王每次可以沿任意方向移动一个格子，切比雪夫距离用于计算王移动的步数
  • 仓储和物流：在仓储管理中，用于计算物品在网格仓库中的最远距离

优缺点分析

优点：

  • 计算简单：切比雪夫距离的计算公式简单，计算量小，适用于需要快速计算距离的场景
  • 直观性强：对于某些特定场景，如棋盘游戏，切比雪夫距离具有很强的直观性

缺点：

  • 应用范围有限：切比雪夫距离主要适用于特定场景，不适合所有类型的数据分析
  • 对异常值敏感：切比雪夫距离对数据中的异常值非常敏感，异常值可能会显著影响计算结果

切比雪夫距离（Chebyshev Distance）

六、闵可夫斯基距离 (Minkowski Distance)

定义与公式

闵可夫斯基距离是欧氏距离和曼哈顿距离的广义形式，通过调整参数 𝑝𝑝，可以得到不同的距离度量。公式如下：

应用场景

闵可夫斯基距离广泛应用于数据分析和机器学习中：

  • 分类算法：如 k 近邻 (KNN) 算法中，通过调整 𝑝𝑝 值来选择适合的距离度量
  • 聚类分析：如 k 均值 (k-Means) 聚类算法中，通过调整 𝑝𝑝 值来确定样本与聚类中心之间的距离

优缺点分析

优点：

  • 灵活性高：通过调整参数 𝑝，可以得到不同的距离度量，适应不同的应用场景
  • 计算公式统一：无论是曼哈顿距离还是欧氏距离，均可以通过统一的闵可夫斯基距离公式来计算

缺点：

  • 参数选择困难：在实际应用中，选择合适的 𝑝𝑝 值可能比较困难，需要根据具体问题进行调整
  • 对异常值敏感：闵可夫斯基距离对数据中的异常值较为敏感，可能会影响计算结果

闵可夫斯基距离 (Minkowski Distance)

抱个拳，送个礼

点击 ↑ 领取

七、雅卡尔指数 (Jaccard Index)

定义与公式

雅卡尔指数用于衡量两个集合的相似度，其值为两个集合交集的大小除以并集的大小。公式如下：

应用场景

雅卡尔指数在以下领域有广泛应用：

  • 信息检索：用于评估搜索结果与查询的相关性
  • 图像处理：用于比较图像分割结果与真实分割的相似度
  • 生态学：用于比较不同物种群落之间的相似度

优缺点分析

优点：

  • 适用于集合数据：雅卡尔指数特别适用于比较离散的集合数据
  • 计算简单：雅卡尔指数的计算过程简单，适用于大规模数据处理

缺点：

  • 对稀疏数据效果较差：对于稀疏数据（如文本数据），雅卡尔指数可能不准确，需要结合其他方法使用
  • 无法处理权重信息：雅卡尔指数仅考虑集合中元素的存在与否，不考虑元素的权重信息

雅卡尔指数（Jaccard Index）

八、半正矢距离 (Haversine Distance)

定义与公式

半正矢距离用于计算地球表面上两点之间的最短距离，考虑到地球的球形特性。公式如下：

应用场景

半正矢距离主要用于以下场景：

  • 地理信息系统 (GIS)：用于计算地球表面两点之间的最短距离
  • 导航系统：用于GPS导航系统中，计算起点和终点之间的距离
  • 航空和海洋运输：用于计算航线和航程

优缺点分析

优点：

  • 考虑地球曲率：半正矢距离考虑到地球的球形特性，计算结果更准确
  • 适用于长距离计算：对于长距离的两点间距离计算，半正矢距离比直线距离更准确

缺点：

  • 计算复杂：半正矢距离的计算公式较复杂，计算量较大，不适合实时计算
  • 对短距离不敏感：对于短距离的两点间距离计算，半正矢距离与直线距离差异不大

半正矢距离 (Haversine Distance)

防失联，进免费知识星球，直达算法金 AI 实验室 https://t.zsxq.com/ckSu3

免费知识星球，欢迎加入，一起交流切磋

九、Sørensen-Dice 系数

(Sørensen-Dice Coefficient)

定义与公式

Sørensen-Dice 系数用于衡量两个集合的相似度，其值为两个集合交集的大小的两倍除以两个集合大小的总和。公式如下：

应用场景

Sørensen-Dice 系数在以下领域有广泛应用：

  • 信息检索：用于评估搜索结果与查询的相关性
  • 图像处理：用于比较图像分割结果与真实分割的相似度
  • 生态学：用于比较不同物种群落之间的相似度

优缺点分析

优点：

  • 适用于集合数据：Sørensen-Dice 系数特别适用于比较离散的集合数据
  • 计算简单：Sørensen-Dice 系数的计算过程简单，适用于大规模数据处理

缺点：

  • 对稀疏数据效果较差：对于稀疏数据（如文本数据），Sørensen-Dice 系数可能不准确，需要结合其他方法使用
  • 无法处理权重信息：Sørensen-Dice 系数仅考虑集合中元素的存在与否，不考虑元素的权重信息

Sørensen-Dice 系数 (Sørensen-Dice Coefficient)

[ 抱个拳，总个结 ]

各种距离和相似度的对比分析

数学性质对比

  • 欧氏距离：度量空间中两点之间的直线距离，具有平移不变性和对称性
  • 余弦相似度：度量两个向量之间夹角的余弦值，仅考虑向量的方向，不考虑向量的大小
  • 汉明距离：度量两个等长字符串之间不同字符的个数，适用于离散数据
  • 曼哈顿距离：度量空间中两点在各坐标轴上的距离之和，适用于高维数据
  • 切比雪夫距离：度量两个点在各坐标轴上的最大距离，适用于棋盘游戏等特定场景
  • 闵可夫斯基距离：欧氏距离和曼哈顿距离的广义形式，通过调整参数 𝑝𝑝 可得到不同的距离度量
  • 雅卡尔指数：度量两个集合的相似度，计算两个集合交集与并集的比值
  • 半正矢距离：计算地球表面两点间的最短距离，考虑地球的球形特性
  • Sørensen-Dice 系数：度量两个集合的相似度，计算两个集合交集大小的两倍与两个集合大小总和的比值

计算复杂度对比

  • 欧氏距离：𝑂(𝑛)，计算简单，适用于大多数应用场景
  • 余弦相似度：𝑂(𝑛)，计算简单，适合大规模数据处理
  • 汉明距离：𝑂(𝑛)，计算简单，适合离散数据
  • 曼哈顿距离：𝑂(𝑛)，计算简单，适用于高维数据
  • 切比雪夫距离：𝑂(𝑛)，计算简单，适用于特定场景
  • 闵可夫斯基距离：𝑂(𝑛)，通过调整参数 𝑝𝑝，适应不同的应用场景
  • 雅卡尔指数：𝑂(𝑛)，计算简单，适用于集合数据
  • 半正矢距离：𝑂(1)，公式复杂，适合地理信息系统等场景
  • Sørensen-Dice 系数：𝑂(𝑛)，计算简单，适用于集合数据

适用场景对比

  • 欧氏距离：适用于空间距离计算、分类算法（如 KNN）、聚类分析（如 K-Means）
  • 余弦相似度：适用于文本相似度计算、推荐系统、图像相似度计算
  • 汉明距离：适用于错误检测和纠正、基因序列分析、密码学
  • 曼哈顿距离：适用于数据挖掘和机器学习、图像处理、机器人路径规划
  • 切比雪夫距离：适用于棋盘游戏、仓储和物流
  • 闵可夫斯基距离：适用于分类算法、聚类分析
  • 雅卡尔指数：适用于信息检索、图像处理、生态学
  • 半正矢距离：适用于地理信息系统、导航系统、航空和海洋运输
  • Sørensen-Dice 系数：适用于信息检索、图像处理、生态学

核心要点回顾

  • 欧氏距离：计算空间中两点间的直线距离，简单易懂
  • 余弦相似度：计算两个向量间夹角的余弦值，适合文本和向量数据
  • 汉明距离：计算两个等长字符串间不同字符的个数，适合离散数据
  • 曼哈顿距离：计算空间中两点在各坐标轴上的距离之和，适合高维数据
  • 切比雪夫距离：计算两点间各坐标轴上的最大距离，适用于特定场景
  • 闵可夫斯基距离：欧氏距离和曼哈顿距离的广义形式，通过参数调整适应不同场景
  • 雅卡尔指数：计算两个集合的相似度，适合集合数据
  • 半正矢距离：计算地球表面两点间的最短距离，考虑地球曲率
  • Sørensen-Dice 系数：计算两个集合的相似度，适合集合数据

- 科研为国分忧，创新与民造福 -

日更时间紧任务急，难免有疏漏之处，还请大侠海涵 内容仅供学习交流之用，部分素材来自网络，侵联删

[ 算法金，碎碎念 ]

这个神反馈，

有点意思

hhh~

全网同名，日更万日，让更多人享受智能乐趣

如果觉得内容有价值，烦请大侠多多 分享、在看、点赞，助力算法金又猛又持久、很黄很 BL 的日更下去；

同时邀请大侠 关注、星标 算法金，围观日更万日，助你功力大增、笑傲江湖

算法金
关注
  • 15
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
余弦相似度和欧氏距离_欧氏距离和余弦相似度
weixin_26705191的博客
08-20 613
余弦相似度和欧氏距离Photo by Markus Winkler on Unsplash Markus Winkler在Unsplash上拍摄的照片 This is a quick and straight to the point introduction to Euclidean distance and cosine similarity with a focus on NLP. 这是对欧...
余弦距离介绍
lucky_kai的博客
04-25 3万+
原文链接：https://www.jianshu.com/p/2ae25fc02d4e 涉及到数学公式的地方，还请查看原文链接。 概述： 在机器学习领域中，通常将特征表示为向量的形式，所以在分析两个特征向量之间的相似性时，常用余弦相似度表示。例如将两篇文章向量化，余弦距离可以避免因为文章的长度不同而导致距离偏大，余弦距离只考虑两篇文章生成的向量的夹角。 余弦相似度的取值范围是[-1,1]，相同两个...
距离和相似度度量[转]
weixin_34080951的博客
08-20 1310
在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。 　　为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们都包含了N个维的特征，即X=（x1, x2, x3, ...
对比欧氏距离与余弦相似度
黄飞的博客专栏
11-07 2万+
欧式距离欧氏距离就是我们平常所说的距离，如果是平面上的两个点 A(x1,y1)A(x_1,y_1) 和 B(x2,y2)B(x_2,y_2) ，那么 A 与 B 的欧式距离就是 (x1−x2)2+(y1−y2)2‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√\sqrt{(x_1-x_2)^2+(y_1-y_2)^2} ；如果是三维空间中的两个点 A(x1,y1,z1)A(x_1,y_1,z_1) 和
文本向量的距离测度——欧氏距离、曼哈顿距离、余弦相似度
NLP翟
04-23 2980
文本的常用距离测度欧氏距离曼哈顿距离曼哈顿距离和欧氏距离的区别余弦相似度余弦相似度和欧氏距离的区别 在NLP中文本均会被表示为向量的形式，为了给出任何两个文本之间的相似程度，则可以利用各类的距离进行表示，其中最为著名的两种距离就是欧式距离和宇轩相似度，此外还有曼哈顿距离也被广泛使用。而这三个测度方式均是在欧式空间下进行的。 本文以如下的两个向量作为例子进行具体的阐述： vec1=[x1,x2,x...
余弦相似度算法计算方法
04-29
余弦相似度算法的计算方法可以分为四种：欧氏距离、曼哈顿距离、标准化欧氏距离和夹角余弦。 1. 欧氏距离（Euclidean Distance） 欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。对于...
欧式距离和.rar_meant81r_southr89_欧式距离_欧式距离算法_欧氏距离
07-14
自编的基于欧式距离公式求二点之间的距离和，该程序使用循环可以求多个点之间的距离和。
数据挖掘-基于用户的协同过滤算法实现电影推荐-皮尔逊系数和欧氏距离.zip
05-19
协同过滤算法（Collaborative Filtering）是一种经典的推荐算法，其基本原理是“协同大家的反馈、评价和意见，一起对海量的信息进行过滤，从中筛选出用户可能感兴趣的信息”。它主要依赖于用户和物品之间的行为关系...
基于欧氏距离和精英交叉的免疫算法研究
01-15
欧氏距离的免疫算法相结合, 得到一种基于欧氏距离和精英交叉的免疫算法(DKBA IA ). 提出了抗体相似矩阵的概 念和一种改进的措施, 对DKBA IA 进行改进, 从而得到改进的DKBA IA 算法(MDKBA IA ). 仿真结果表明, ...
julicedu.zip_matlab 欧氏距离_向量相似度_改进距离_相似度距离_距离相似度
07-15
向量相似度是衡量两个向量之间相似程度的另一种方式，它可以基于距离度量（如欧氏距离），也可以使用余弦相似度、Jaccard相似度等其他方法。在机器学习中，相似度计算常用于聚类分析、分类任务、推荐系统等领域。 ...
相似度计算之(二)——余弦距离
热门推荐
educationer的博客
08-14 3万+
将数据看成空间中的点时，评价远近可以用欧式距离或余弦距离 一般可用于文本间的相似度计算，但也不是绝对的 余弦距离计算步骤： 以余弦距离计算文本相似度为例，具体说明其计算过程： 余弦相似度算法： 一个向量空间中两个向量夹角间的余弦值作为衡量两个个体之间差异的大小，余弦值接近1，夹角趋于0，表明两个向量越相似，余弦值接近于0，夹角趋于90度，表明两个向量越不相似。 基本思路是： 如果这两句话的用词越...
谈谈距离度量方式：欧氏距离与余弦距离
要相信光
04-02 8804
前因 在机器学习/深度学习的很多任务中，我们通常会面临着两个样本之间相似度的比较。通常常用的两种度量方式为欧氏距离与余弦距离，那么在什么时候用欧氏距离？什么时候用余弦相似度？他们之间的联系与区别在哪里呢？ 探索 在机器学习当中，通常以一组向量来表示样本 如上图所示，欧式距离是通过勾股定理来计算两个向量之间的距离： 余弦距离是计算两个向量之间夹角的余弦值： 通常用1-D(x,y)来表示余弦相似度。 分析： 首先谈谈区别，欧氏距离的范围是不确定的(没有经过归一化)，得到的值可能很大(最
欧式距离、余弦相似度和余弦距离
RUN
11-14 1993
欧式距离 也称欧几里得距离,是最常见的距离度量,衡量的是多维空间中两个点之间的绝对距离。 多维空间每个坐标的差的平方和再求平方根 余弦相似度 范围[-1， 1]，相同则相似度为1。 A和B的点乘除以他们长度的乘积。 余弦距离 范围（0，2）， ...
计算汉明权重的SWAR（SIMD within a Register）算法
LittleMagic's Blog
08-08 1208
前言 在很久之前，笔者在《布隆过滤器（Bloom Filter）原理及Guava中的具体实现》这篇文章的最后，说到JDK中提供了计算整形数二进制表示中1的数量［即所谓汉明权重（Hamming weight）］的方法，并且说它是Java语言中最强的骚操作之一。本文来简单探究一下骚操作背后的思路。 朴素的SWAR Integer.bitCount()方法的源码中有一句注释。 // HD, Figure...
C/C++ hamming distance汉明距离算法详解及源码
最新发布
希望我的博客，能帮上你解决学习中工作中所遇到的问题
06-21 2383
汉明距离（Hamming Distance）是衡量两个等长字符串之间的差异度量。在信息论和计算机科学中，汉明距离可以用来检测错误、纠错编码、密码学等领域。汉明距离的定义是对应位置上两个字符串不同字符的个数。例如，字符串 A = “1011101” 和字符串 B = “1001011”，它们的汉明距离是 3。因为在第 2、4、7 位置上，两个字符串的字符不同。
常用向量相似度衡量指标
星智云图StarImagine
12-02 8731
1、欧氏距离（Euclidean Distance ） 欧氏距离是最容易直观理解的距离度量方法： （1）二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离: （2）三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: （3）n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离（两个n维向量）： 2、余弦相似度（Cosine similarity） 余弦相似度是通过测量两个向量之间的夹角的余弦值来度量他们之间的一个相似度。0
机器学习中的数学——距离定义（三）：闵可夫斯基距离（Minkowski Distance）
冯·诺依曼
12-14 3万+
闵可夫斯基距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述，它包含了我们在《距离定义（一）：欧几里得距离》和《距离定义（二）：曼哈顿距离》中的欧几里得距离和曼哈顿距离就是闵可夫斯基距离的一种特殊情况： d(x,y)=(∑i=1n(xi−yi)p)1pd(x, y)=(\sum_{i=1}^n(x_i-y_i)^p)^{\frac{1}{p}}d(x,y)=(i=1∑n​(xi​−yi​)p)p1​ ...
欧式距离、明可夫斯基距离及其他计算曲线相似度的距离
T Lai
01-08 6148
1.欧几里德距离（又称欧式距离）（Euclidean Distance）  欧式距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。  公式如下： 2.明可夫斯基距离（Minkowski Distance） 明氏距离是欧式距离的推广，是对多个距离度量公式的概括性的表述。 公式如下： 这里的p值是一个变量，当p=2的时候就得到了上面的欧式距离，当p为时为曼哈顿距离，当...
python使用欧氏距离，曼哈顿距离和夹角余弦距离实现k-means算法
04-04
以下是使用Python实现k-means算法，其中包括欧氏距离、曼哈顿距离和夹角余弦距离的实现： ```python import numpy as np import math # 欧氏距离 def euclidean_distance(x1, x2): return np.sqrt(np.sum((x1 - x2)**2)) # 曼哈顿距离 def manhattan_distance(x1, x2): return np.sum(np.abs(x1 - x2)) # 夹角余弦距离 def cosine_distance(x1, x2): dot_product = np.dot(x1, x2) norm_x1 = np.linalg.norm(x1) norm_x2 = np.linalg.norm(x2) return 1 - dot_product / (norm_x1 * norm_x2) class KMeans: def __init__(self, k=3, max_iters=100, distance="euclidean"): self.k = k self.max_iters = max_iters self.distance = distance def initialize_centroids(self, X): n_samples, n_features = X.shape centroids = np.zeros((self.k, n_features)) for i in range(self.k): centroid = X[np.random.choice(range(n_samples))] centroids[i] = centroid return centroids def closest_centroid(self, sample, centroids): distances = np.zeros(self.k) for i, centroid in enumerate(centroids): if self.distance == "euclidean": distances[i] = euclidean_distance(sample, centroid) elif self.distance == "manhattan": distances[i] = manhattan_distance(sample, centroid) else: distances[i] = cosine_distance(sample, centroid) closest_index = np.argmin(distances) return closest_index def create_clusters(self, X, centroids): clusters = [[] for _ in range(self.k)] for sample_i, sample in enumerate(X): centroid_i = self.closest_centroid(sample, centroids) clusters[centroid_i].append(sample_i) return clusters def calculate_centroids(self, X, clusters): n_features = X.shape[1] centroids = np.zeros((self.k, n_features)) for i, cluster in enumerate(clusters): centroid = np.mean(X[cluster], axis=0) centroids[i] = centroid return centroids def get_cluster_labels(self, clusters, X): y_pred = np.zeros(X.shape[0]) for cluster_i, cluster in enumerate(clusters): for sample_i in cluster: y_pred[sample_i] = cluster_i return y_pred def predict(self, X): centroids = self.initialize_centroids(X) for _ in range(self.max_iters): clusters = self.create_clusters(X, centroids) prev_centroids = centroids centroids = self.calculate_centroids(X, clusters) if np.all(centroids == prev_centroids): break return self.get_cluster_labels(clusters, X) ``` 使用示例： ```python from sklearn.datasets import make_blobs import matplotlib.pyplot as plt X, y = make_blobs(centers=3, n_samples=500, random_state=1) kmeans = KMeans(k=3, max_iters=100, distance="euclidean") y_pred = kmeans.predict(X) plt.scatter(X[:, 0], X[:, 1], c=y_pred) plt.title("K-Means Clustering") plt.show() ``` 其中，distance参数可以设置为"euclidean"、"manhattan"或者"cosine"，表示使用欧氏距离、曼哈顿距离或夹角余弦距离。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值