三.构建和评估聚类模型

最新推荐文章于 2023-11-04 20:48:43 发布
最新推荐文章于 2023-11-04 20:48:43 发布
阅读量380 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tyh751734196/article/details/116998660
版权

一.聚类方法类别

1.划分(分裂)方法

  • K-平均值(K-MEANS算法)
  • K-中心点(K-MEDOIDS算法)
  • 基于选择(CLARANS算法)

2.层次分析方法

  • 平衡迭代规划和聚类(BIRCH算法)
  • 点聚类(CURE算法)
  • 动态模型(CHAMELEON算法)

3.基于密度的方法

基于密度连接区域

  • 密度分布
  • 对象排序识别

4. 基于网络的方法

  • 统计信息网络（STING算法）
  • 聚类高维空间（CLIOUE算法）
  • 小波变化（WAVE-CLUSTER）

二.模块

1.聚类（cluster）

函数名参数适用样本数目适用聚类数目距离度量
KMeans簇数大中点之间的度量
Spectral Clustering簇数中小图距离
Ward hierarchical clustering簇数大大点之间的度量
AgglomerativeClustering簇数，链接联系，距离大大成对的点线图的度量
DBSCAN半径大小，最低成员数目大中最近点的距离
Birch分子因子，阀值，可选全局集群大大点之间的欧式距离

2.估计器（estimator）

方法说明
fit1.用于训练算法，
接收有监督训练集，标签参数+无监督学习的数据
predict1.用于有监督学习的测试集标签
2.划分传入数据的类别

3.聚类评价指标

  • 研究分类相关性
方法名称真实性最佳值sklearn函数
ARI评估法（兰德系数）需要1.0adjusted_rand_score
AMI评估法(互信息)需要1.0adjusted_mutual_info_score
V-measur评分需要1.0completeness_score
FMI评价法需要1.0fowlkes_mallows_score
轮廓系数评价法不需要畸变程度最大silhouette_score
指数评价法不需要相较最大calinski_harabasz_score
唐-import-某人
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
聚类有效性评价指标(4个内部4个外部)
10-28
常用内部（Sil，CH，DBI，KL）、外部评价指标（Rand等4个），用自带样本集“leuk72_3k.txt”测试可用！
论文研究-基于模糊投影寻踪聚类的洪灾评估模型.pdf
09-20
针对洪水灾害样本集的复杂性、随机性以及差异性,本文将模糊聚类迭代理论与投影寻踪技术进行互补融合,构建了模糊投影寻踪聚类模型.该模型采用投影值标准差和投影值欧氏...
6.2 构建并评价聚类模型
我走的每一步都算数
09-21 629
上表总共列出了6种评价的方法，其中前4种方法均需要真实值的配合才能够评价聚类算法的优劣，后2种则不需要真实值的配合。但是前4种方法评价的效果更具有说服力，并且在实际运行的过程中在有真实值做参考的情况下，聚类方法的评价可以等同于分类算法的评价。聚类的输入是一组未被标记的样本，聚类根据数据自身的距离或相似度将它们划分为若干组，划分的原则是组内（内部）距离最小化，而组外（外部）距离最大化，如下图所示。聚类评价的标准是组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。
Spark M构建聚类模型
chbxw
06-04 839
一、聚类的思想及原理   聚类是一种无监督学习，它与分类的不同，聚类所要求划分的类是未知的。聚类算法的思想就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常检测。   聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，它能够从样本数据出发，自动进行分类。聚类分析也有很多方法，使用不同方法往往会得到不同的结论。从实际应用的角度看，聚类分析是...
使用scikit-learn构建模型——构建并评价聚类模型
Winda_shi的博客
05-19 801
构建并评价聚类模型
机器学习聚类分析建模方法大全
Together_CZ的博客
02-23 827
因为鸢尾花数据集太过于知名，所以这里我也就不再赘述了，直接贴出来原始数据内容，有需要的可以直接拿去存储下来做实验用都行，当然了sklearn的dataset模块也内置了iris数据集，我只是习惯了从文件读取数据集而已，可以根据自己需要来就行了。最近很多私信都在问机器学习的问题，感觉很多都是刚入门的新手，有些概念和问题也相对比较基础，空余时间里我在不断整理一些常用的基础算法模型，写成文章后面有需要的话可以直接阅读即可，有些问题可能直接就迎刃而解了吧。【相关性分析热力图】
评估聚类模型
wj1298250240的博客
12-28 470
评估聚类模型 轮廓系数 聚类评估：轮廓系数(Silhouette Coefficient)： https://www.jianshu.com/p/6352d9d468f8 si接近1，则说明样本i聚类合理。 si接近-1，则说明样本i更应该分类到另外的簇。 若si近似为0，则说明样本i在两个簇的边界上。 silhouette_score 返回的是平均轮廓系数 # 评估聚类模型 import nu...
论文研究-区间灰数的灰色变权与定权聚类模型.pdf
09-20
论文研究-区间灰数的灰色变权与定权聚类模型.pdf, 针对观测值为区间灰数的灰色聚类问题, 通过构建区间灰数集上的积分均值函数, 将实数域上单一观测值的白化权函数推广到...
机器学习算法与应用大作业-基于预处理的小麦品种的分类和聚类源码+数据+项目使用说明.zip
07-20
使用了PCA、KPCA、LDA、KLDA四种算法进行数据预处理，使用SVM、逻辑回归、ANN三种方法对预处理与未预处理的数据进行了分类与评估，使用FCM方法对预处理与未预处理的数据进行了聚类与评估，完整地完成了项目的全部...
实验3-K-means聚类实验_python_
10-01
距离实验Python实现神经网络开始进行分析分析
基于预期损失模型的电力无线专网运行质量量化评估
04-16
采用大数据挖掘方法进行电力无线专网运行质量信息特征挖掘，结合模糊C均值聚类方法进行电力无线专网运行质量评估信息的特征融合处理，构建基于预期损失模型的电力无线专网运行质量统计分析，同时建立电力无线专网...
python 中 任务 6.2 构建并评价聚类模型 学习笔记2
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
12-22 2544
文章目录任务6.2 构建并评价聚类模型6.2.1 使用sklearn估计器构建聚类模型6-10 使用sklearn估计器构建K-Means聚类模型6-11 聚类结果可视化TSNE函数6.2.2 评价聚类模型代码6-12 使用FMI评价法评价K-Means聚类模型代码 6-13 使用轮廓系数评价 K-Means聚类模型代码 6-14 使用Canlinski-Harabasz指数评价K-Means聚类模型总结6.2.3 任务实现1. 构建K-Means聚类模型代码 6-15 对Seeds构建K-Means聚类模
聚类模型的建立
最新发布
2303_76664877的博客
11-04 182
这一节我们来学习聚类模型。“物以类聚，人以群分”，所谓的聚类，就是将样本划分为由类似的对象组成的多个类的过程。聚类后，我们可以更加准确的在每个类中单独使用统计模型进行估计、分析或预测；也可以探究不同类之间的相关性和主要差异。在上次我们学习过了分类模型，我们需要识别分类模型与聚类模型之间的区别。它们的区别很简单，分类模型是已知类别的，比如我们知道需要把样本分为苹果和橙子两类，而聚类是未知的。我们直接来学习聚类模型涉及的第一个算法——K-means聚类算法。
数学建模之聚类模型
qq_45767140的博客
08-01 1488
“物以类聚，人以群分”。包罗万象的数据也是如此，数据本身是凌乱的，如何在凌乱之中去发掘数据的信息呢？本文将介绍聚类模型。 所谓聚类，就是将样本划分为由类似对象组成的多个类的过程。聚类后，我们就可以更加准确地在每个类中单独使用统计模型进行估计、分析或预测；也可以探究不同类之间地相关性和差异性。 K-means聚类算法 算法流程： （1）指定需要划分地簇地个数K值（即为类地个数） （2）随机地选择K个数据对象作为初始的聚类中心 （3）计算其余的各数据对象到这K个聚类中心的距离，把数据对象划归到距离它最近的那
数学建模聚类模型
vivivi
08-10 1025
聚类模型 聚类就是将样本划分为由类似的对象组成的多个类的过程。聚类后，我们可以更加准确的在每个类中单独使用统计模型进行估计、分析或预测也可以探究不同类之间的相关性和主要差异。聚类和分类的区别是分类是已知类别的，聚类未知。 K-means聚类算法 步骤 指定需要划分的簇的个数K值（类的个数） 随机地选择K个数据对象作为初始的聚类中心（不一定要是样本点） 计算其余的各个数据对象到这K个初始聚类中心的距离，把数据对象划归到距离它最近的那个中心所处在的簇类中。 调整新类并且重新计算出新类的中心。（通常是重心）
使用Spark构建聚类模型
图特摩斯科技-博客
05-01 3258
将使用一个模型（推荐模型）的输出作为另外一个模型（聚类模型）的输入 import org.apache.spark.mllib.clustering.KMeans import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.linalg.distributed.RowMatrix import org.
聚类模型
aoduanrou3097的博客
08-29 110
K-mens聚类算法和K-means++算法 转载于:https://www.cnblogs.com/cznczai/p/11431510.html
数学建模：13 聚类模型
m0_54625820的博客
01-16 793
K-means、K-means++、系统聚类、基于密度的聚类DBSCAN算法
使用Spark构建聚类模型完整案例及其代码
06-07
好的，这是一个使用Spark构建聚类模型的完整案例及其代码。 1.准备数据 首先，我们需要准备数据。我们选择使用一个经典的数据集：Iris数据集。这个数据集包含了150个样本，每个样本包含了4个特征（花萼长度，花萼宽度，花瓣长度，花瓣宽度），以及一个分类标签（鸢尾花的种类）。我们将这个数据集保存为CSV文件。 2.启动Spark 我们需要启动一个Spark集群。在这个例子中，我们选择在本地模式下运行Spark。 3.读取数据 我们使用Spark的CSV读取器来读取Iris数据集。读取器会自动推断数据集的模式。 ``` from pyspark.sql import SparkSession spark = SparkSession.builder.appName('KMeans').getOrCreate() data = spark.read.csv('iris.csv', header=True, inferSchema=True) ``` 4.特征工程 在聚类之前，我们需要进行特征工程。我们需要将特征向量标准化，以确保每个特征都具有相同的权重。 ``` from pyspark.ml.feature import VectorAssembler, StandardScaler assembler = VectorAssembler(inputCols=data.columns[:-1], outputCol='features') data = assembler.transform(data) scaler = StandardScaler(inputCol='features', outputCol='scaled_features') scaler_model = scaler.fit(data) data = scaler_model.transform(data) ``` 5.构建模型 我们选择使用KMeans算法来构建聚类模型。KMeans需要指定聚类的数量。在这个例子中，我们选择将数据集聚类成3个簇。 ``` from pyspark.ml.clustering import KMeans kmeans = KMeans(k=3, seed=1) model = kmeans.fit(data) ``` 6.评估模型 我们需要评估模型的性能。我们使用WCSS（Within-Cluster Sum of Squares）来评估模型的性能。WCSS是所有点到它们所属簇的中心点的距离之和。 ``` from pyspark.ml.evaluation import ClusteringEvaluator predictions = model.transform(data) evaluator = ClusteringEvaluator() wcss = evaluator.evaluate(predictions) print('WCSS:', wcss) ``` 7.可视化结果 最后，我们需要将聚类结果可视化。我们选择使用Matplotlib来绘制散点图。 ``` import matplotlib.pyplot as plt centers = model.clusterCenters() x = centers[:, 0] y = centers[:, 1] plt.scatter(predictions.toPandas().iloc[:, -2], predictions.toPandas().iloc[:, -1], c=predictions.toPandas().iloc[:, -3]) plt.scatter(x, y, marker='x', color='red') plt.show() ``` 这就是一个使用Spark构建聚类模型的完整案例及其代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唐-import-某人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值