Calinski-Harbasz Score 详解

已于 2022-01-29 14:58:59 修改
阅读量1.5w 收藏 62
点赞数 13
文章标签： kmeans算法
于 2020-04-02 19:55:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chloe_ou/article/details/105277431
版权

在做海量数据聚类分析（MiniBatch Kmeans）的时候，常常因为数据量太大画不出dendrogram，没办法用Elbow Method确定K值。这时需要其他metrics辅助确定K值。在做聚类之前，一定要先做去重啊！

概括地说，评估聚类的方法主要有两种：

  • 内部评估方法：不需要借助其他监督数据，通过一个单一的量化得分评估算法好坏
  • 外部评估方法：需要知道数据的类别，通过将聚类结果与ground truth进行对比，评估算法好坏

实际生产环境中，很少有标注数据帮助我们进行聚类，因为很难人为地确定到底有多少个簇，簇之间的区别不是很明显，特别是对于文本数据。

内部评估方法有：

  • Silhouette Coefficient
  • Calinski-Harbasz Score
  • Davies-Boulding

详细地使用方法可以参考sklearn文档：2.3. Clustering — scikit-learn 1.0.2 documentation

为了后续复习方便，这里简单介绍一下Silhouette Coefficient。Silhouette Coefficient对于一个样本点需要计算两种距离: a-当前样本点与同类的其他样本点的平均距离，b-当前样本点与最接近的另一个类的其他样本点的平均距离。当前样本点的得分是s，计算方式如下:

最低0.47元/天 解锁文章
chloe_au_yeung
关注
K-means聚类K值的选择、Calinski-Harabasz准则
data+scenario+science+insight
06-07 3013
K-means聚类K值的选择、Calinski-Harabasz准则 目录 K-means聚类K值的选择、Calinski-Harabasz准则 K-means聚类K值的选择 Calinski-Harabasz准则 K-means聚类K值的选择 K-means聚类方法使用过程中有一个非常核心的超参数K。常用的用来确定K的方法有，可视化法，业务法、胳膊肘法（Elbow method）、轮廓系数法、Calinski-Harabasz准则等； 手肘法的核心指标是SSE(sum of the squa
python Calinski-Harabasz指数评价K-means聚类模型
12-20
首先导入数据集 #导入本地图片集 import os import cv2 array_of_img = [] #用于储存图像 #此函数用于读取图片，参数为本地路径名 def read_directory(directory_name): #循环读取这个路径中的每个图像 for filename in os.listdir(directory_name): #print(filename) #img用于储存图像数据 img = cv2.imread(directory_name + "/" + filename)#根据文件夹名称与文件名进行图像的读取
聚类效果评价——Calinski-Harabasz（CH指标）——内部评估标准（2）
呆萌的代Ma
06-04 1万+
Caliński, Tadeusz, and Jerzy Harabasz. “A dendrite method for cluster analysis.” Communications in Statistics-theory and Methods 3.1 (1974): 1-27. 公式与简介 CH指标的计算公式是：s=tr(Bk)tr(Wk)×nE−kk−1s = \frac{\mathrm{tr}(B_k)}{\mathrm{tr}(W_k)} \times \frac{n_E - k}{.
sklearn中使用calinski_harabaz_score
liyuanjunfrank的博客
07-10 1万+
做聚类的时候使用到calinski_harabaz_score。 score = metrics.calinski_harabaz_score(X, y_pre) 在本地运行的时候提示： module ‘sklearn.metrics’ has no attribute ‘calinski_harabaz_score’。 有网友说是sk-learn的版本太低造成的，但是我安装的版本是最新的，所以不是版本问题，后来发现是调用的包有问题。改为下面这样就没问题了。 score = metrics.calins
【聚类评价】Calinski-Harabaz（CH）
weixin_30558305的博客
01-29 4469
Calinski-Harabaz（CH） CH指标通过计算类中各点与类中心的距离平方和来度量类内的紧密度，通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度，CH指标由分离度与紧密度的比值得到。从而，CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。 在scikit-learn中， Calinski-Harabasz Index对应的方法是metrics.calins...
聚类评价CH指标sklearn.metrics.calinski_harabasz_score
weixin_46713695的博客
08-19 7273
sklearn.metrics.calinski_harabasz_score
三维数据的Caliniski-Harabaz指数、DB指数计算
little_orange__的博客
06-07 1588
聚类内部评价指标 如果数据集标签未知，则必须使用模型本身的内部指标去度量聚类性能。 轮廓系数（Silhouette Coefficient） 每个样本有对应的轮廓系数，轮廓系数由两个得分组成： a：样本与同一簇类中的其他样本点的平均距离； b：样本与距离最近簇类中所有样本点的平均距离； 每个样本的轮廓系数定义为： 一组数据集的轮廓系数等于该数据集中每一个样本轮廓系数的平均值 Caliniski-Harabaz指数 DB指数（Davies-Bouldin Index） import functools i
使用K-Means进行聚类，用calinski_harabaz_score评价聚类效果
风口IT猪的成长录
08-19 4544
使用K-means进行聚类，用calinski_harabaz_score评价聚类效果代码效果附录 代码 """ 下面的方法是用kmeans方法进行聚类，用calinski_harabaz_score方法评价聚类效果的好坏 大概是类间距除以类内距，因此这个值越大越好 """ import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_blobs from sklearn.cluster import
Calinski-Harabasz(CH)指标 分析
qq_18884487的博客
05-22 2万+
1.公式表示： 其中，n表示聚类的数目 ,k 表示当前的类, trB(k)表示类间离差矩阵的迹, trW(k) 表示类内离差矩阵的迹。有关公式更详细的解释可参考论文“ A dendrite method for cluster analysis ”。 可以得出 CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。 离差矩阵 = 对下标i加和(（Xi-Ux) * (Xi-Ux...
sklearn构建K-means聚类模型以及使用FMI,轮廓系数法,Calinski-Harabasz评价模型
zm_1900的博客
04-08 1万+
聚类分析是在没给定划分类别的情况下，根据数据相似度进行样本划分的一种方法，属于非监督学习。 （1）使用sklearn估计器构建聚类模型 聚类算法实现需要估计器，sklearn估计器有fit和predict两个方法： fit: 主要用于训练算法，该方法可接收用于有监督学习的训练集及其标签两个参数，也可接收无监督学习的数据。 predict：用于有监督学习的测试集标签，也可用于划分传入数据的类...
算法 聚类算法
zzqingyun的博客
05-14 1942
🌞欢迎来到机器学习的世界 🌈博客主页：卿云阁 💌欢迎关注🎉点赞👍收藏⭐️留言📝 🌟本文由卿云阁原创！ 🌠本阶段属于练气阶段，希望各位仙友顺利完成突破 📆首发时间：🌹2021年5月9日🌹 ✉️希望可以和大家一起完成进阶之路！ 🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！ 🍈 一、聚类的基本概念 定义 1. m=3 2. k=2 3. x1——>1 x2——>2 x3——>1...
python聚类指标计算
Hqq_CSDN的博客
08-22 1006
【代码】聚类指标计算。
聚类算法常用内部评价指标——轮廓系数、Calinski-Harabasz Index（CH）、Davies-Bouldin Index（DB）
热门推荐
春夏丶秋冬的博客
08-15 3万+
聚类分析的评价指标也称为性能度量指标，博客主要介绍聚类算法内部评价指标—轮廓系数、Calinski-Harabasz Index（CH）、Davies-Bouldin Index（DB）等常用指标
k-means聚类算法从入门到精通
小白学视觉
07-04 5652
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达k-means算法是非监督聚类最常用的一种方法，因其算法简单和很好的适用于大样本数据，广泛应用于不同领域，本文详细总结了k-means聚类算法原理 。目录1. k-means聚类算法原理2. k-means聚类算法步骤3. k-means++聚类优化算法4. 小批量处理的k-means聚类算法5. k值...
《scikit-learn》KMeans
qq_29367075的博客
02-13 1355
至于聚类的地含义，以及我们熟悉的KMeans算法，基于层次的，基于密度的，我们之前都是学习过的，就不多说了，这里说一些在scikit-learn中是如何使用的，且说一些其他方面的。 一：代码直接开整 第一步，我们先自己造一些二维数据，并且用图画出来。 from sklearn.datasets import make_blobs import matplotlib.pyplot as plt # 自己创造一个数据集， # 自己创造一个，一千个样本的数据，每个数据是2个特征，一共有4个中心 x, y = m
用r语言实现输入26261行7列的矩阵用hclust分类计算和绘制Calinski-Harabasz指标。
最新发布
07-20
下面是使用R语言实现输入26261行7列矩阵的hclust分类计算和绘制Calinski-Harabasz指标的示例代码： ```R # 1. 读取数据 data <- your_data # 替换为你的数据 # 2. 计算距离矩阵 dist_matrix <- dist(data) # 3. 进行层次聚类 hclust_result <- hclust(dist_matrix) # 4. 绘制树状图 plot(hclust_result) # 5. 计算Calinski-Harabasz指标 library(cluster) k_values <- 2:10 # 设置k值的范围 ch_scores <- numeric(length(k_values)) for (i in seq_along(k_values)) { k <- k_values[i] clusters <- cutree(hclust_result, k = k) ch_scores[i] <- calinski_harabasz(data, clusters) } # 6. 绘制Calinski-Harabasz指标曲线 plot(k_values, ch_scores, type = "b", xlab = "Number of clusters (k)", ylab = "Calinski-Harabasz score") ``` 请确保替换代码中的`your_data`为你的实际数据。这段代码将首先计算距离矩阵，然后使用`hclust`函数进行层次聚类，并绘制聚类结果的树状图。接下来，使用`cluster`包中的`calinski_harabasz`函数计算不同k值下的Calinski-Harabasz指标，并绘制指标随k值变化的曲线图。 请注意，由于数据规模较大，可能需要一些时间来计算距离矩阵和进行层次聚类。你可以根据需要调整`k_values`的范围来获取更准确的Calinski-Harabasz指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值