WHERE-聚类方法的介绍与实现

最新推荐文章于 2022-05-11 23:41:44 发布
置顶 最新推荐文章于 2022-05-11 23:41:44 发布
阅读量374 收藏
点赞数
分类专栏： 软件缺陷预测 文章标签： 聚类方法 WHERE 机器学习 软件缺陷预测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylxieyu/article/details/84327357
版权
本文介绍了WHERE聚类方法，这是一种适用于高维数据的算法，包括降维、划分和合并三个步骤。在软件缺陷预测中，WHERE方法用于对数据集聚类，每个聚类使用分类器训练，提高预测准确性。通过对数据分布的适应，缓解了泛化能力下降的问题。
摘要由CSDN通过智能技术生成

聚类方法的基本介绍

聚类是将数据对象的集合分成相似的对象类的过程。使得同一个簇（或类）中的对象之间具有较高的相似性，而不同簇中的对象具有较高的相异性。

在这里插入图片描述

聚类的一般过程为：
在这里插入图片描述

按照聚类分析方法的主要思路，聚类可以归纳为以下几种

方法 算法举例
划分法 k-means、k-中值
层次法 DIANA、AGNES、BIRCH、CURE、ROCK
密度法 DBSCAN、OPTICS、
网格法 STING、WaveCluster、CLIQUE
模型法 EM、COBWEB、

本篇文章所讲的WHERE 算法属于基于划分的聚类。

WHERE

WHERE 方法对于高维（特征属性个数>2）的数据，首先会进行降维处理，将高维数据映射到二维空间。该映射过程为：

  • 从数据集中随机找到一个实例Z
  • 找到距离Z最远的实例X
  • 再找到距离X最远的实例Y

找到了上述3个点后，便可以得到一个固定的距离 X Y ‾ \overline{XY} XY，记为c。此后，对于数据集中的任一样本实例，都可以计算出其与X、Y的距离，记为a、b。现在便可以用余弦公式得到样本实例的二维坐标点(x, y)
x = ( a 2 + c 2 − b 2 ) / ( 2 c ) y = a 2 − x 2 x = \left(a^2 + c^2 - b^2\right) / \left(2c\right)\\y = \sqrt{a^2 - x^2} x=(a2+c2−b2)/(2c)y

最低0.47元/天 解锁文章
whu_谢宇
关注
专栏目录
聚类方法总结以及代码实现
Rudy95的博客
07-05 2573
距离度量：闵科夫斯基距离 针对有序的属性可以使用闵科夫斯基距离，无序的属性使用VDM K-means法 k-means算法是一种基于划分的聚类算法，以距离作为数据对象间相似性度量的标准，即数据对象间的距离越小，则它们的相似性越高，则它们越有可能在同一个类簇。 K-means的算法流程： 首先我们看看K-Means算法的一些要点。 　　　　1）对于K-Means算法，首先要注意的是k值的选择，一般来...
三种聚类方法的简单实现
恒河沙无数
04-25 1万+
聚类是机器学习中的无监督学习方法的重要一种，近来看了周志华老师的机器学习，专门研究了有关于聚类的一章，收获很多，对于其中的算法也动手实现了一下。主要实现的包括比较常见的k均值聚类、密度聚类和层次聚类，这三种聚类方法上原理都不难，算法过程也很清晰明白。有关于原理可以参阅周志华老师的机器学习第九章，这里只做一下代码的实现。 运行环境是Python2.7+numpy，说实话，numpy坑还是挺多的，其
聚类方法的SPSS实现
10-06
聚类方法的SPSS实现，利用IBM SPSS MODELER 工具实现电力负荷聚类分析
聚类
devinwood的博客
12-19 1499
聚类是一种无监督算法，针对大量未知标注的数据集，按数据的相似性将数据分为多个类别，使类别内的数据相似性较大而类别间的数据相似度较小。若数据集已知标注，则可以利用聚类对数据降维操作。聚类算法分类：基于位置的聚类（kmeans\kmedians），基于密度的聚类（DBSCAN\最大密度聚类），基于图论的聚类（AP聚类\谱聚类）
numpy之where的用法
克豪的博客
07-04 2万+
1、numpy.where的返回结果 numpy.where调用方式为numpy.where(condition,1,2) 满足条件的位置上返回结果1，不满足的位置上返回结果2  例如通过where()函数将a数组中负值设为0，正值不变 如果没有指定返回结果，只有查找条件则返回满足条件的位置。返回的结果是一个元组（tuple），包含两个数组，第一个数组纪录的是行，第二个数组纪录的是列。 可以使用zip函数将返回的位置组成一个个坐标对，方便调用。zip函数直接返回的是一个对象，可以用过for循环
K-Means文本聚类python实现
11-22
文本聚类是机器学习领域的一种无监督学习方法，主要用于对大量文本数据进行分类，而无需预先知道具体的类别信息。在本案例中，我们将探讨如何使用Python实现K-Means算法进行文本聚类。K-Means是一种简单且广泛应用的...
k-means聚类算法原理简析
Dhane的博客
01-26 8万+
k-means聚类算法原理简介概要算法思想算法流程图解代码实现 概要 K-means算法是最普及的聚类算法，也是一个比较简单的聚类算法，所以刚接触的同学不要感到害怕。算法接受一个未标记的数据集，然后将数据聚类成不同的组，同时，k-means算法也是一种无监督学习。 算法思想 k-means算法的思想比较简单，假设我们要把数据分成K个类，大概可以分为以下几个步骤： 随机选取k个点，作为聚类中心； ...
聚类方法的原理，层次聚类法、K均值聚类法以及python实现
qq_39320588的博客
02-10 5205
相似度或距离 1、闵可夫斯基距离 dij=(∑k=1m∣xki−xkj∣p)1pd_{ij}=\Bigg(\sum_{k=1}^m|x_{ki}-x_{kj}|^p\Bigg)^{\frac{1}{p}}dij​=(k=1∑m​∣xki​−xkj​∣p)p1​ 在这里，p⩾1p\geqslant1p⩾1 当p=2p=2p=2时称为欧式距离： dij=(∑k=1m∣xki−xkj∣2)12d_{ij...
K-means聚类算法
Datawhale
06-21 1740
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
简单聚类方法K-means方法的实现
tianse12的专栏
03-29 4730
实例：根据药品的特征对药品进行分类 实现：根据python实现的K-means聚类 1.1 归类 聚类属于非监督学习，无类别标记 1.2 K-means算法 1.Clustering中的经典算法，数据挖掘十大经典算法之一 2.算法接受参数K，然后将事先输入的n个对象划分为K个聚类以便使获得的聚类满足：同一聚类
各种聚类算法的比较
panrenlong的博客
05-17 1万+
聚类的目标是使同一类对象的相似度尽可能地大；不同类对象之间的相似度尽可能地小。目前聚类的方法很多，根据基本思想的不同，大致可以将聚类算法分为五大类：层次聚类算法、分割聚类算法、基于约束的聚类算法、机器学习中的聚类算法和用于高维度的聚类算法。摘自 数据挖掘中的聚类分析研究综述 这篇论文。 1、层次聚类算法 1.1聚合聚类 1.1.1相似度依据距离不同：Single-Link:最近距
where()函数的用法
平平淡淡，戒急用忍，一生学闭嘴。
09-29 5728
import numpy as np #np.where()有两种用法： #1.np.where(condition, x, y) #满足条件(condition)，输出x，不满足输出y。 aa = np.arange(10) np.where(aa,1,-1) np.where(aa > 5,1,-1) np.where([[True,False], [True,True]],[[1,2...
Numpy中where的理解
weixin_45002789的博客
05-11 2510
首先numpy中where有两种用法。 一种是numpy.where(条件，满足条件值，不满足条件值)。 一种是numpy.where(条件)。 第一种：numpy.where(条件，满足条件值，不满足条件值)。 import numpy an_array = np.array([31,55,27,11,4,90,19]) #将下列列表中中大于30的元素替换为0 one_array = numpy.where(an_array > 30, 0, an_array) print(one_array)
11.15作业
weixin_34406796的博客
11-17 86
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 　　分类是指在对数据集分类时，我们知道这个数据集是有多少种类的。 　　聚类是将数据对象的集合分成相似的对象类的过程，使得同一个簇（或类）中的对象之间具有较高的相似性，而不同簇中的对象具有较高的相异性。即指在对数据集操作时，我们是不知道该数据集包含多少类，我们要做的，是将数据集中相似的数据归纳在一起。 简述什么是监督学...
常见聚类方法
Reborn_inuyasha的博客
09-15 2338
常见的聚类方法：K-Means，层次聚类，基于密度的聚类 1.K-Means（K均值）聚类 算法步骤： (1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。 (3) 计算每一类中中心点作为新的中心点。 (4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点，然后选择运行结果最好的一个。 下图演示
常见的六大聚类算法
热门推荐
诗蕊的专栏
03-01 32万+
1. K-Means(K均值)聚类 算法步骤： (1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。 (3) 计算每一类中中心点作为新的中心点。 (4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可...
MySQL Where 运算符小结
php菜鸟技术天地
09-14 4089
WHERE 条件 有时候操作数据库时，只操作一些有条件限制的数据，这时可以在SQL语句中添加WHERE子句来规定数据操作的条件。 语法： 复制代码 代码如下: SELECT column,… FROM tb_name WHERE definition WHERE 关键字后面接有效的表达式（definition），该表达式表示被操作的数据记录必须满足的条件。 除 SELE
带where条件的insert操作？这是一个巨坑，看了不会踩
班吉拉的博客
05-09 7096
insert into plan(plantablename,wordsnum,wordsremain,days,daysremain) values('英语四级','1000','1000','50','50') where id = 3" 这句话坑了我整整一个小时，各种找错误，后来网上查了才知道insert是没有条件判断的，因为是新增插入的操作，所以能进行条件判断的，只有将要插入的值；不要和...
st-dbscan聚类算法用代码实现
最新发布
05-26
下面是st-dbscan聚类算法的Python代码实现： ```python import numpy as np from scipy.spatial.distance import pdist, squareform def stdbscan(data, eps, min_pts): """ ST-DBSCAN algorithm implementation. Parameters: data (ndarray): Input data. eps (float): The maximum distance between two samples for them to be considered as in the same neighborhood. min_pts (int): The number of samples (or total weight) in a neighborhood for a point to be considered as a core point. Returns: labels (ndarray): Cluster labels for each point. -1 for noise points. """ # Compute pairwise distance matrix dist_mat = squareform(pdist(data)) # Initialize variables num_pts = data.shape[0] visited = np.zeros(num_pts, dtype=bool) labels = np.zeros(num_pts, dtype=int) cluster_id = 0 # Iterate over all points for i in range(num_pts): if not visited[i]: visited[i] = True # Get neighbors within eps distance neighbors = np.where(dist_mat[i] <= eps)[0] # Check if there are enough neighbors if len(neighbors) < min_pts: labels[i] = -1 # Noise point else: cluster_id += 1 labels[i] = cluster_id # Expand cluster j = 0 while j < len(neighbors): neighbor = neighbors[j] if not visited[neighbor]: visited[neighbor] = True # Get neighbors within eps distance new_neighbors = np.where(dist_mat[neighbor] <= eps)[0] # Check if there are enough neighbors if len(new_neighbors) >= min_pts: neighbors = np.concatenate((neighbors, new_neighbors)) # Assign to cluster if labels[neighbor] == 0: labels[neighbor] = cluster_id j += 1 return labels ``` 其中，`data`是输入数据，`eps`是最大距离阈值（即点与点之间的距离超过该值则不再属于同一簇），`min_pts`是最小密度阈值（即点周围的其它点个数不足该值时不再属于核心点）。函数返回每个点的聚类标签，-1表示噪声点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值