机器学习与数据挖掘学习笔记（3）聚类

最新推荐文章于 2023-08-05 14:53:14 发布
最新推荐文章于 2023-08-05 14:53:14 发布
阅读量1k 收藏 1
点赞数
分类专栏： 机器学习与数据挖掘 文章标签： 聚类 机器学习 数据挖掘 k均值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39478524/article/details/109343935
版权

目录

一、聚类的定义

二、模型的性能度量

三、常见的聚类算法

四、K-means

五、层次聚类法

六、基于密度的聚类方法

 

一、聚类的定义

聚类就是将大量未知标注的数据集按照数据本身的特点将数据集划分为多个类别，使得类内的样本尽可能地相似，类间地样本尽可能地不同。

之前我们学习过的分类和回归问题都是有监督问题，给的训练集都是有标记的样本；而聚类问题则是无监督问题，训练集的样本都是无标记的。

 

二、模型的性能度量

为了能够分辨不同聚类模型的性能好坏，我们需要确定一些指标来评价我们得到的模型。

聚类性能指标一般有如下指标：

1、准确率

                                        Acc=\frac{N_{cor}}{N}

其中N_{cor}代表正确聚类的数据个数，N代表数据的总个数

 

2、纯度

                                       Purity(\Omega,C)=\frac{1}{N}\sum_k\mathop{\mathbb{\max}}\limits_{j}|\omega_k\cap c_j|

其中N代表数据的总个数，\omega_k代表第k个聚类簇，C=\{c_1,c_2,...,c_N\}是数据集合，c_j代表第j个数据

 

3、归一化互信息

互信息是至两个变量的关联程度，计算公式如下：

                                     

最低0.47元/天 解锁文章
小唐要努力
关注
专栏目录
机器学习与数据挖掘学习笔记.zip
04-27
《机器学习与数据挖掘学习笔记》是一份综合性的学习资料，涵盖了这两个领域的重要概念、算法和技术。这份笔记的目的是为了帮助读者深入理解机器学习和数据挖掘的基础知识，并提供实际操作的指导。 首先，我们来探讨...
NMI(Normalized Mutual Information)
看流云落成雨滴
03-30 2万+
NMI(Normalized Mutual Information) NMI(Normalized Mutual Information)，归一化互信息。常用在聚类中，度量两个聚类结果的相近程度（通常我们都是将聚类结果和真实标签进行比较相似程度）。他的值域是[0,1][0, 1][0,1]，值越高表示两个聚类结果越相似。归一化是指将两个聚类结果的相似性值 定量到0~1之间。 NMI和另一个聚类指标ACC不同的是，NMI的值不会受到族类标签排列的影响。(This metric is independent o
聚类的评价指标NMI标准化互信息+python实现+sklearn调库
weixin_42764932的博客
03-05 1万+
聚类的评价指标NMI标准化互信息+python实现+sklearn调库概念引例公式信息熵相对熵（relative entropy）互信息*归一化互信息(NMI)代码pythonsklearn 概念 标准化互信息（normalized Mutual Information, NMI）用于度量聚类结果的相似程度，是community detection的重要指标之一，其取值范围在[0 1]之间，值越大表示聚类结果越相近，且对于[1, 1, 1, 2] 和 [2, 2, 2, 1]的结果判断为相同 引例 对于6个
各类聚类（clustering）算法初探
weixin_34168880的博客
01-20 5731
1. 聚类简介 0x1：聚类是什么？ 聚类是一种运用广泛的探索性数据分析技术，人们对数据产生的第一直觉往往是通过对数据进行有意义的分组。很自然，首先要弄清楚聚类是什么？ 直观上讲，聚类是将对象进行分组的一项任务，使相似的对象归为一类，不相似的对象归为不同类 但是，要达到这个目的存在几个很困难的问题 1. 上述提及的两个目标在很多情况下是互相冲突的。从数学上讲，虽然聚类共享具有...
聚类︱python实现 六大 分群质量评估指标（兰德系数、互信息、轮廓系数）
热门推荐
素质云笔记
04-24 6万+
之前关于聚类题材的博客有以下两篇： 1、 笔记︱多种常见聚类模型以及分群质量评估（聚类注意事项、使用技巧） 2、k-means+python︱scikit-learn中的KMeans聚类实现 . 1 R语言中的分群质量——轮廓系数 因为先前惯用R语言，那么来看看R语言中的分群质量评估，节选自笔记︱多种常见聚类模型以及分群质量评估（聚类注意事项、使用技巧）： 没有固定标准，一般会...
利用互信息比较不同的聚类结果
tyh70537的博客
08-13 5530
互信息（mutual information）和信息熵（information entropy）一样都是信息论里面的概念。信息熵在决策树里面用的比较多，可以度量样本集合的纯度。而互信息在聚类中有很大的作用，它可以衡量对同一个数据集不同的划分的之间的相似程度。假设Pa，PbP^a，P^b表示数据集XX上的两个不同的划分，XX包括n的样本。PaP^a包含kak_a个簇，PaP^a= {Ca1,Ca2,⋯
数据挖掘学习笔记（三）
01-06
数据分析与数据挖掘的方法 1.频繁模式 频繁模式：数据中频繁出现的模式。 频繁项集：频繁在事务数据集中一起出现的商品集合。 例如，信用卡分析、患者就诊分析、购物车分析… 2.分类与回归 分类与标签预测是找出描述...
中山大学数据挖掘与机器学习课件
07-11
《数据挖掘与机器学习》是中山大学数据科学与计算机学院开设的一门重要课程，旨在引导学生深入了解和掌握数据挖掘的基本理论和技术，以及机器学习的核心算法和应用。这门课程的课件是经过精心整理的，包含了丰富的...
《数据挖掘概念与技术》-思维导图学习笔记，第一章。
03-24
《数据挖掘概念与技术》是数据科学领域的一本经典教材，它深入浅出地介绍了数据挖掘的基本概念和技术。思维导图作为一种有效的学习工具，能够帮助读者更好地理解和记忆书中的核心内容。在这里，我们重点关注第一章的...
hadoop,spark,linux,机器学习,数据挖掘等大数据全套视频.rar
11-16
标题中的“hadoop,spark,linux,机器学习,数据挖掘等大数据全套视频.rar”表明这是一个包含多方面大数据技术的综合教程资源，涵盖了Hadoop、Spark、Linux、机器学习以及数据挖掘等多个关键领域。这些主题都是现代信息...
聚类效果评价指标：MI, NMI, AMI（互信息，标准化互信息，调整互信息）
xiaotian13的博客
05-18 3万+
聚类效果评价指标：MI, NMI, AMI 简介 在无监督学习中，常见的两种任务为聚类与降维。这里给出三个聚类效果评价指标：互信息，标准化互信息，调整互信息(MI, NMI, AMI)，分别给出它们的计算方法与代码。需要指出的是，这三个指标均需要已知数据点的真实标签。 Preliminaries and Notation 已知 NNN 个 DDD 维的数据，构成数据矩阵 X=[x1,x2,⋯ ,xN]∈RD×N\mathbf{X} = [x_1, x_2, \cdots, x_N] \in \mathbb
『ML』用Python实现聚类效果的评估（轮廓系数、互信息）
酒狂的博客
04-19 7436
好的聚类：类内凝聚度高，类间分离度高。本文介绍两种聚类评估方法，并且用Python实现。
归一化的互信息
weixin_43177538的博客
11-15 5539
（1）信息熵：对信息进行量化度量，在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即 ，式中对数一般取2为底，单位为比特信息熵是信息论中用于度量信息量的一个概念...
机器学习之聚类结果显示【7大指标：最大准确率、互信息、轮廓系数、Jaccard系数、加权平均数值、指数方差比准则、Davies-Bouldin指数、调整兰德指数】
最新发布
Lping9147的博客
08-05 1256
聚类指标分析
互信息（Mutual Information）
xuyupeng_sjtu的博客
07-26 3309
互信息
Python|数据透视表+cut切分+Kmeans聚类
RUC_Lee的博客
03-24 1904
目录 1  背景2  数据预处理2.1  读入数据2.2  删去缺失值3  需求1：把娱乐/明星八卦单独拉出来3.1  检验一下人数3.2  针对score进行降序排列3.3  看分布3.4  分区间段进行统计人数3.5...
数据挖掘——聚类
Lilo_的博客
04-11 7249
《数据挖掘》国防科技大学 《数据挖掘》青岛大学 《数据挖掘与python实践》 数据挖掘之聚类 1. 划分聚类 K-means 每次聚类保证局部最优，随后调整聚类，利用局部最优聚类的上限来不断逼近全局最优。 采用距离作为相异度的评价指标，以簇内差异函数w©作为聚类质量的优化目标函数，即将所有数据 对象到它的簇中心点的距离平方和作为目标函数，算法寻找最优聚类的策略是使目标函数达到最小值(簇中心不变化等价于w©达最小)。 优点： ① k-means算法简单、经典，常作为其它聚类算法的参照或被改进。 ② k
Kmeans聚类①——数据标准化&归一化&正则化
cindy407的博客
06-14 3万+
在进行机器学习之前，经常需要对训练数据进行标准化/归一化/正则化，为什么呢？ **1）去除量纲的影响，将有量纲的数值变成无量纲的纯数值； 2）是去除各特征之间数值差异过大的问题，比如一个向量（uv:10000, rate:0.03,money: 20)，如果要与其它向量一起计算欧氏距离或者余弦相似度时，会向uv倾斜非常严重，导致其余2个特征对模型的贡献度非常低 3）提升训练的速度，防止过拟合 一、...
【史诗级干货长文】聚类算法
风口IT猪的成长录
07-24 667
Clustering Algorithm1. 聚类算法简介1.1 认识聚类算法1.1.1 聚类算法在现实中的应用1.1.2 聚类算法的概念1.1.3 聚类算法与分类算法最大的区别1.2 小结2. 聚类算法api初步使用2.1 api介绍2.2 案例2.2.1 流程分析2.2.2 代码实现2.3 小结3. 聚类算法实现流程4. 模型评估5. 算法优化6. 特征降维 1. 聚类算法简介 学习目标 掌握聚类算法实现过程 知道K-means算法原理 知道聚类算法中的评估模型 说明K-means的优缺点 了解聚类中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值