聚类的四种常用的算法

chang_xiaoyi

已于 2024-05-15 10:17:56 修改

阅读量2.1k

点赞数 48

文章标签：聚类机器学习算法

于 2024-05-15 09:47:32 首次发布

本文链接：https://blog.csdn.net/chang_xiaoyi/article/details/138890494

版权

1.聚类的简介

聚类是机器学习中一种重要的无监督算法（Unsupervised Learning），它可以将数据点归结为一系列特定的组合。理论上归为一类的数据点具有相同的特性，而不同类别的数据点则具有各不相同的属性。

与监督学习（如分类器）相比，无监督学习的训练集没有人为标注的结果。在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。

以下是五种常用的聚类算法。

K均值聚类

适用于大规模数据集的聚类分析，常用于市场分析、图像分析、语音分析、医学分析等领域。
均值漂移算法
基于密度的聚类算法（DBSCAN）

适用于大规模数据集中密度不均匀的聚类分析，常用于空间数据分析、异常检测等领域。
利用高斯混合模型进行最大期望估计

适用于数据集中存在多个高斯分布的聚类分析，常用于图像分析、语音分析、信号处理等领域。

2.K均值聚类

K均值（K-means）聚类是一种无监督学习方法，用于将数据点划分为K个不同的簇（或称为群组、类别）。它的工作原理是通过迭代的方式将数据点分配到K个簇中，使得每个数据点与其所属簇的质心（簇中所有点的平均值）之间的平方距离之和最小。

以下是K均值聚类算法的基本步骤：

初始化：
- 选择K个初始质心（可以是随机选择或基于某种启发式方法）。
分配数据点到最近的质心：
- 对于每个数据点，计算它到所有K个质心的距离（如欧氏距离）。
- 将数据点分配到距离它最近的质心所对应的簇中。
重新计算质心：
- 对于每个簇，计算其中所有点的平均值（质心）。
- 将每个簇的质心更新为该簇中所有点的平均值。
迭代：
- 重复步骤2和3，直到满足某个停止条件（如质心的变化小于某个阈值，或达到最大迭代次数）。

from sklearn.cluster import KMeans  
import numpy as np  
import matplotlib.pyplot as plt  
  
# 假设我们有一些二维数据  
data = np.array([[1, 2], [1, 4], [1, 0],  
                 [10, 2], [10, 4], [10, 0]])  
  
# 选择K值（簇的数量）  
K = 2  
  
# 初始化KMeans并拟合数据  
kmeans = KMeans(n_clusters=K, random_state=0)  
kmeans.fit(data)  
  
# 获取聚类标签和质心  
labels = kmeans.labels_  
centroids = kmeans.cluster_centers_  
  
# 打印结果  
print("Labels:", labels)  
print("Centroids:", centroids)  
  
# 可视化结果  
plt.scatter(data[:, 0], data[:, 1], c=labels, s=50, cmap='viridis')  
plt.scatter(centroids[:, 0], centroids[:, 1], c='red', s=200, alpha=0.5)  
plt.show()

注意：

K均值对初始质心的选择是敏感的，不同的初始质心可能会导致不同的聚类结果。
K均值算法不能保证找到全局最优解，它只能找到局部最优解。
K均值假设簇的形状是凸的，并且每个簇的方差大致相同。如果簇的形状不规则或大小差异很大，K均值可能无法很好地工作。

K均值聚类在许多领域都有广泛的应用，如图像处理、市场分析、生物信息学等。在选择K值时，通常需要根据领域知识和实验来确定最佳的K值。一种常用的方法是使用“肘部法则”（Elbow Method）或轮廓系数（Silhouette Score）来评估不同K值下的聚类效果。

3.均值漂移算法

均值漂移（Mean Shift）算法是一种基于密度的非参数聚类算法，它的基本思想是通过迭代将数据点沿着概率密度梯度的上升方向移动，直到收敛到局部密度最大值的位置。在这个过程中，每个数据点都会向其所在局部区域的密度增加最快的方向（即均值漂移向量的方向）移动。

以下是均值漂移算法的基本步骤：

初始化：为每个数据点选择一个初始位置作为中心点。
计算偏移均值：对于每个中心点，计算在其一定半径内的所有其他数据点与该中心点的向量，并计算这些向量的平均值（即偏移均值）。
更新中心点：将每个中心点移动到其对应的偏移均值位置。
迭代：重复步骤2和3，直到满足某个停止条件（如中心点的移动距离小于某个阈值，或达到最大迭代次数）。

import cv2  
import numpy as np  
from matplotlib import pyplot as plt  
  
# 加载图像（通常用于图像分割或目标跟踪，但这里仅用于演示）  
# 注意：对于聚类任务，你通常会有一个特征数据集而不是图像  
image = cv2.imread('your_image.jpg', 0)  # 读取图像为灰度图  
  
# 将图像转换为float32类型，并归一化到[0, 1]范围  
image = np.float32(image) / 255.0  
  
# 设置窗口大小（即空间窗口内用于计算均值的邻域大小）  
# 和h参数（即颜色窗口的带宽）  
sp = 10  
h = 150.0  
  
# 应用均值漂移  
shifted, image_labels, (centers, _) = cv2.meanShiftSmoothing(image, sp, h, None, 10, cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_MAX_ITER, 100)  
  
# 注意：meanShiftSmoothing通常用于图像平滑，而不是直接聚类  
# 但你可以将结果图像中的每个像素值视为一个聚类标签  
  
# 可视化结果（这里仅展示平滑后的图像，而不是聚类结果）  
plt.subplot(121), plt.imshow(image, cmap='gray')  
plt.title('Original Image'), plt.xticks([]), plt.yticks([])  
plt.subplot(122), plt.imshow(shifted, cmap='gray')  
plt.title('Mean Shifted Image'), plt.xticks([]), plt.yticks([])  
plt.show()  
  
# 如果你要进行聚类，你需要自己实现均值漂移算法  
# 或者使用其他库，因为`opencv-python`的meanShiftSmoothing主要用于图像平滑

在均值漂移算法中，通常会引入核函数来计算偏移均值，核函数的选择会影响算法的性能。此外，均值漂移算法不需要事先指定聚类数，因为聚类数将由数据算法自动确定。

均值漂移算法在图像处理、计算机视觉等领域有广泛的应用，如目标跟踪、图像分割等。在目标跟踪中，均值漂移算法可以通过迭代运算收敛于目标概率密度函数的局部最大值，从而实现对目标的实时跟踪。在图像分割中，均值漂移算法可以将图像分割成不同的区域，每个区域对应于一个局部密度最大值，从而实现图像的自动分割。

需要注意的是，均值漂移算法对初始中心点的选择是敏感的，不同的初始中心点可能会导致不同的聚类结果。此外，均值漂移算法在处理大规模数据集时可能会面临计算复杂度高的问题。

4.DBSCAN

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的空间聚类算法，它可以发现任意形状的聚类，并且能够在聚类过程中识别并排除噪声点。以下是DBSCAN算法的基本概念和步骤的概述：

基本概念

ε-邻域：对于给定的对象p，其ε-邻域是对象p为中心、ε为半径的空间区域。
核心对象：如果对象p的ε-邻域内至少包含MinPts个对象（包括p本身），则p被称为核心对象。
直接密度可达：如果对象q在核心对象p的ε-邻域内，则称对象q从对象p直接密度可达。
密度可达：如果存在一个对象链p₁, p₂, ..., pₙ，其中p₁=p，pₙ=q，且对于任意i (1≤i<n)，pᵢ+₁从pᵢ直接密度可达，则称对象q从对象p密度可达。
密度相连：如果对象集合D中存在一个对象o，使得对象p和q都从o密度可达，那么对象p和q是密度相连的。

算法步骤

参数设置：确定邻域半径ε和最小样本数MinPts。
选择核心对象：遍历数据集中的每个对象，如果其ε-邻域内的对象数（包括自身）大于等于MinPts，则将其标记为核心对象。
扩展聚类簇：对于每个核心对象，找到其所有密度可达的对象，形成一个聚类簇。
标记噪声点：对于数据集中不属于任何聚类簇的对象，将其标记为噪声点。
完成聚类：重复步骤2-4，直到所有对象都被处理。

from sklearn.cluster import DBSCAN  
from sklearn.datasets import make_moons  
import matplotlib.pyplot as plt  
  
# 创建示例数据集（两个半月形的数据）  
X, y = make_moons(n_samples=500, noise=0.05, random_state=0)  
  
# 初始化DBSCAN模型  
# eps: 邻域半径  
# min_samples: 最小样本数（即MinPts）  
dbscan = DBSCAN(eps=0.3, min_samples=5)  
  
# 对数据进行聚类  
labels = dbscan.fit_predict(X)  
  
# 绘制聚类结果  
unique_labels = set(labels)  
colors = [plt.cm.Spectral(each) for each in np.linspace(0, 1, len(unique_labels))]  
  
for k, col in zip(unique_labels, colors):  
    if k == -1:  
        # 黑色用于噪声点  
        col = [0, 0, 0, 1]  
  
    class_member_mask = (labels == k)  
  
    xy = X[class_member_mask]  
    plt.plot(xy[:, 0], xy[:, 1], 'o', markerfacecolor=tuple(col),  
             markeredgecolor='k', markersize=8)  
  
plt.title('DBSCAN Clustering')  
plt.show()

DBSCAN的优势

可以发现任意形状的聚类。
对噪声点不敏感，能够识别并排除噪声点。
不需要预先指定聚类的数量。

DBSCAN的不足

当数据量很大时，算法的计算复杂度较高。
参数的选择（ε和MinPts）对聚类结果有很大影响，需要仔细调整。
对于密度不均匀的数据集，可能无法获得理想的聚类结果。

使用场景

DBSCAN算法广泛应用于各种领域，包括但不限于：

空间数据分析：在地理信息系统（GIS）中分析地理数据，如城市人口分布、地质特征等。
图像分割：在图像处理中，对像素进行聚类以实现图像分割。
社交网络分析：分析社交网络中的用户行为数据，识别群组或社区结构。
市场细分：在市场营销中，将客户分成不同的细分市场以更好地了解他们的需求和行为模式。
物联网数据分析：处理物联网设备产生的大量数据，识别设备之间的关联或异常情况

5.高斯混合模型

高斯混合模型（Gaussian Mixture Model，简称GMM）是一种统计模型，它使用多个高斯概率密度函数（正态分布曲线）来精确地量化事物。该模型将一个事物分解为若干个基于高斯概率密度函数形成的子模型，从而更准确地描述数据的分布。

在图像处理中，高斯混合模型常用于对图像背景进行建模。其原理是，如果图像所包含的目标区域和背景区域在灰度上有一定的差异，那么图像的灰度直方图会呈现双峰或多峰的形状，其中每个峰对应于不同的区域或物体。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。

高斯混合模型在数据建模和分析中有许多重要的应用，包括：

聚类：将数据分成不同的组，每个组对应于混合模型中的一个分量。这种方法尤其适用于数据集中存在多个潜在的子群体的情况。
密度估计：估计数据的概率密度函数。通过对每个分量的高斯分布进行加权和，模型能够更准确地捕捉数据的复杂分布。
异常检测：通过估计正常数据的分布，模型可以识别偏离这个分布的观测值作为异常。
生成模型：用于生成新的样本。一旦模型参数被学习，可以通过对分量进行随机采样来生成符合模型分布的新数据。

import numpy as np  
import matplotlib.pyplot as plt  
from sklearn.mixture import GaussianMixture  
from sklearn.datasets import make_blobs  
  
# 生成模拟数据  
X, y_true = make_blobs(n_samples=400, centers=4, cluster_std=0.60, random_state=0)  
  
# 初始化高斯混合模型  
gmm = GaussianMixture(n_components=4)  # 假设我们知道有4个聚类  
  
# 拟合模型  
gmm.fit(X)  
  
# 预测标签  
y_gmm = gmm.predict(X)  
  
# 绘制原始数据和聚类结果  
plt.scatter(X[:, 0], X[:, 1], c=y_true, s=40, cmap='viridis')  
  
# 绘制GMM的聚类中心  
centers = gmm.means_  
plt.scatter(centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.5)  
  
# 显示图形  
plt.title("Gaussian Mixture Model")  
plt.xlabel("Feature 1")  
plt.ylabel("Feature 2")  
plt.show()  
  
# 如果需要，可以绘制每个高斯分量的等高线图  
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1  
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1  
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),  
                     np.arange(y_min, y_max, 0.02))  
Z = gmm.predict_proba(np.c_[xx.ravel(), yy.ravel()])  
Z = Z.reshape(xx.shape, gmm.n_components)  
  
fig, axs = plt.subplots(1, gmm.n_components, figsize=(15, 5))  
fig.subplots_adjust(wspace=0.05, hspace=0.05)  
  
for i, (ax, color) in enumerate(zip(axs, 'brgc')):  
    ax.contourf(xx, yy, Z[:, i], cmap=color, alpha=0.5)  
    ax.set_xlim(x_min, x_max)  
    ax.set_ylim(y_min, y_max)  
    ax.set_xticks(())  
    ax.set_yticks(())  
    ax.set_title(f'Component {i+1}')  
  
plt.show()

在智能监控系统中，高斯混合模型是背景目标提取的一个重要方法。它使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征，并在新一帧图像获得后更新混合高斯模型。通过比较当前图像中的每个像素点与混合高斯模型的匹配程度，可以判断该点是否属于背景或前景。

高斯混合模型的参数包括均值、方差和权重等，这些参数的选择和更新对于模型的性能至关重要。在实际应用中，可以采用各种算法和技术来优化这些参数，以提高模型的准确性和鲁棒性。

6.学习总结：

在深入学习了几种聚类算法（K均值聚类、均值漂移算法、DBSCAN和高斯混合模型）后，我不仅对它们各自的工作原理和适用场景有了深刻的理解，更在这个过程中体会到了机器学习和数据挖掘的魅力和挑战。

首先，聚类算法是数据科学中非常重要的一部分，它们能够自动地将数据集中的样本划分为若干个不相交的子集（即聚类），从而揭示出数据的内在结构和分布。这种无监督学习的方式让我意识到，在缺乏明确标签或指导的情况下，我们仍然可以通过数据的特征来探索其内在的规律。

在学习的过程中，我深刻体会到了每种聚类算法的特点和优劣。例如，K均值聚类虽然简单高效，但对初始聚类中心的选择敏感，且需要预设聚类数量；而均值漂移算法虽然可以发现任意形状的聚类，但计算复杂度较高，对参数的选择也较为敏感。DBSCAN和GMM则分别具有不同的优势，如DBSCAN能够发现任意形状的聚类且对噪声和异常值有一定的鲁棒性，而GMM可以给出样本属于某个聚类的概率，但同样需要面对参数选择和计算复杂度的问题。

通过对比不同算法的特点和优劣，我逐渐意识到，在选择聚类算法时，我们需要综合考虑数据的特性、问题的需求以及计算资源的限制。同时，对于每种算法，我们都需要深入理解其原理、参数设置以及调优方法，以便在实际应用中取得更好的效果。

此外，学习聚类算法也让我认识到了数据预处理的重要性。在聚类之前，对数据进行适当的预处理（如标准化、归一化、降维等）可以显著提高聚类的效果。因此，在进行聚类分析时，我们需要充分重视数据预处理环节，确保数据的质量和有效性。

最后，我认为学习聚类算法不仅仅是为了掌握一种技术或方法，更重要的是培养了一种分析问题和解决问题的能力。在面对复杂的数据集和问题时，我们需要灵活运用不同的算法和工具，结合实际情况进行选择和调整，以达到最佳的效果。这种能力对于数据科学家和机器学习工程师来说至关重要。

总之，学习聚类算法让我收获颇丰，不仅提高了我的专业技能和素养，更让我对机器学习和数据挖掘领域有了更深入的认识和理解。我相信，在未来的学习和工作中，我将继续探索和应用这些聚类算法，为解决实际问题提供有力的支持。

文章链接：聚类的四种常用的算法-CSDN博客

chang_xiaoyi

关注

48
点赞
踩
44

收藏

觉得还不错? 一键收藏
0
评论
聚类的四种常用的算法

聚类是机器学习中一种重要的无监督算法（Unsupervised Learning），它可以将数据点归结为一系列特定的组合。理论上归为一类的数据点具有相同的特性，而不同类别的数据点则具有各不相同的属性。与监督学习（如分类器）相比，无监督学习的训练集没有人为标注的结果。在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。以下是五种常用的聚类算法。K均值聚类适用于大规模数据集的聚类分析，常用于市场分析、图像分析、语音分析、医学分析等领域。均值漂移算法。
复制链接

扫一扫