聚类算法总结

聚类

在无监督学习中,目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律。在这类任务中,常用的算法是聚类(cluster)算法。
聚类算法试图将样本划分为若干个通常是不相交的子集,每个子集表明一个簇,也叫类别,通过这样的操作,可以将无规律的样本划分为一堆堆的样本子集合。簇所对应的概念语义及个数需要由使用者把握和命名。

性能度量

聚类要求,簇内相似,簇间尽可能不同。直白一点的意思是,我们希望物以类聚,即簇内的样本之间相似度要高,而簇间的样本相似度要低。如何度量相似度?一般而言是使用距离来度量。最常用的是使用闵可夫斯基距离:

P=2时候,闵可夫斯基距离变为欧氏距离:

p=1时候,闵可夫斯基距离变为曼哈顿距离:

p=0时候,闵可夫斯基距离变为切比雪夫距离:
在这里插入图片描述

  • 样本之间距离越大,说明样本之间相似度越低
  • 样本之间距离越小,说明样本之间相似度越高
聚类算法

k-means聚类
算法大致流程如下:

  • 第一步,设定k值,表明要划分为k簇,这也是算法唯一的一个超参数;
  • 第二步,从数据集中随机选择k个样本出来作为初始化的簇中心,这里注意,初始化的好坏会对最终结果有影响!
  • 第三步,计算每个样本与这些簇中心的距离,样本离哪个簇中心最近,就将其划分为哪一簇;
  • 第四步,根据每一簇的样本计算均值,并更新该簇的簇中心。
  • 重复上述第三步和第四步,直到达到簇中心不再变化表明算法稳定。

学习向量量化(LVQ)
学习向量量化试图找到一组原型向量来刻画聚类结构,但是LVQ假设样本带有类别标记,学习过程中利用样本的监督信息来辅助聚类。
算法大致流程:

  • 第一步: 初始化一组原型向量,并且对每个原型向量都预设有类别标记;
  • 第二步:从样本中随机选择样本,计算样本与原型向量之间的距离,找出与之最相近的原型向量;
  • 第三步:如果上述步骤的原型向量的预设标签与假设的标签一致的话,对原型向量进行更新,让更新后的原型向量更接近样本;如果上述步骤的原型向量的预设标签与假设的标签不一致的话,对原型向量进行更新,让更新后的原型向量更远离样本;
  • 重复进行第二步和第三步,直到满足停止条件。

高斯混合聚类
高斯混合聚类采用概率模型来表达聚类原型,簇划分的原则是原型对应的后验概率。
使用EM算法来求解最大后验概率。

密度聚类
密度聚类,即基于密度的聚类。假设样本的聚类结构可以通过样本分布的紧密程度来表达。密度聚类算法考察样本之间的可连接性,并基于可连接扩展聚类簇以获得最终的聚类结果。
DBSCAN(density-based-spatial clustering of applications with noise)
这里有些概率要理解:

  • 邻域:画一个圈包含的样本;
  • 核心对象:样本多大的圈能至少包含MinPts个样本,这样的样本叫做核心对象;
  • 密度直达:样本A在样本B的邻域中,则B是核心对象,A由B密度直达;
  • 密度可达:可以传递的那种;
    算法思想是由密度可达关系导出最大的密度相连样本集合作为一个簇。
    算法大致流程:
  • 第一步:先根据领域找到所有的核心对象;
  • 第二步:以任一核心对象为出发点,找出与其密度可达的样本生成聚类簇,直到所有核心对象都被访问过;
  • 第三步:然后从数据集中将这些圈好的样本去掉,开始下一轮;
  • 重复进行第二步和第三步,直到所有的核心对象都被访问过。

层次聚类
层次聚类试图在不同层次上对数据进行划分,从而形成树形的聚类结构,可以采取自上而下或者自下而上的分拆策略。
AGNES(Agglomerative Nesting)是采用自下而上的层次聚类算法。
算法思想是将数据集中每个样本看作是一个初始聚类簇,然后在算法运行的每一步中找到距离最近的两个聚类簇进行合并,不断重复,直到达到设定的簇数。
最小距离:由两个簇最近样本决定
最大距离:由两个簇最远样本决定
平均距离:由两个簇的所有样本决定
算法大致流程:

  • 第一步:设置当前的簇数;
  • 第二步:当簇数大于想要的簇数时候,找出距离最近的两个簇数,合并两个簇数为一个簇数,并对合并得到的聚类簇的距离进行更新
  • 第三步:不断重复上述过程,直到达到想要的簇数;

参考文献

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
聚类算法是一种常用的无监督学习方法,可以将数据集分成若干个组,每个组内的数据具有相似性。下面是一些常用的聚类算法对应实例代码。 1. K-Means算法 K-Means算法是一种基于距离的聚类算法,其核心思想是将数据集分成K个,使得每个数据点都属于离其最近的。K-Means算法的步骤如下: 1. 随机选择K个质心(中心)。 2. 将每个数据点分配到距离其最近的质心所在的中。 3. 重新计算每个的质心。 4. 重复步骤2和3,直到中心不再改变或达到最大迭代次数。 下面是K-Means算法的Python实现代码: ```python from sklearn.cluster import KMeans # 创建数据集 X = [[1, 2], [1, 4], [1, 0], [4, 2], [4, 4], [4, 0]] # 创建K-Means模型 kmeans = KMeans(n_clusters=2) # 训练模型 kmeans.fit(X) # 预测结果 y_pred = kmeans.predict(X) # 输出聚类结果 print(y_pred) ``` 2. 层次聚类算法 层次聚类算法是一种划分聚类算法,其核心思想是从单个数据点开始,将最相似的点组合成一个,逐步合并成更大的,直到所有数据点都被合并到同一个中。层次聚类算法有两种方式:自下而上的聚合和自上而下的分裂。下面是自下而上的聚合层次聚类算法的Python实现代码: ```python from scipy.cluster.hierarchy import dendrogram, linkage import matplotlib.pyplot as plt # 创建数据集 X = [[1, 2], [1, 4], [1, 0], [4, 2], [4, 4], [4, 0]] # 计算距离矩阵 Z = linkage(X, 'ward') # 绘制树状图 plt.figure(figsize=(10, 5)) dendrogram(Z) plt.show() ``` 3. DBSCAN算法 DBSCAN算法是一种基于密度的聚类算法,其核心思想是将密度相连的数据点划分为同一个。DBSCAN算法的步骤如下: 1. 选择一个未访问的数据点。 2. 如果该点周围的密度达到预设的阈值,则将其作为一个新的的中心点,并将其密度可达的所有点加入该。 3. 重复步骤2,直到所有数据点都被访问。 下面是DBSCAN算法的Python实现代码: ```python from sklearn.cluster import DBSCAN # 创建数据集 X = [[1, 2], [1, 4], [1, 0], [4, 2], [4, 4], [4, 0]] # 创建DBSCAN模型 dbscan = DBSCAN(eps=1, min_samples=2) # 训练模型 dbscan.fit(X) # 预测结果 y_pred = dbscan.labels_ # 输出聚类结果 print(y_pred) ``` 以上就是几种常用的聚类算法对应实例代码。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值