聚类：k-Means 和 k-Medoid

Old Uncle Tom

已于 2024-08-24 19:43:07 修改

阅读量1.5k

点赞数 19

CC 4.0 BY-SA版权

文章标签：机器学习支持向量机人工智能

于 2024-08-24 19:16:15 首次发布

本文链接：https://blog.csdn.net/shendong70/article/details/141503560

1. 前言

在《对静态分析缺陷报告进行聚类，以降低维护成本》提到使用 k-Medoid 通过相似缺陷的聚类，来减少程序员对大量缺陷分析的工作量。

k-Medoid 和传统的 k-Means 聚类算法有什么差别呢？

简单的说，K-Medoid 算法是一种基于 K-Means 算法的聚类方法，它通过选择数据集中的点作为中心（medoid），而不是计算均值来代表聚类中心。这种方法对异常值和噪声更加鲁棒，因为它使用的是实际的数据点作为聚类中心，而不是计算出的均值点。

于是将先前的 K-Means 算法做了改进，实现了 K-Medoid 算法。

2. 聚类算法

聚类基本算法步骤

初始化：选择K个数据点作为初始的质心。可以使用随机选取，也有很多改进的选取方法，以降低迭代的次数；
分配：将每个数据点分配给最近的质心，形成K个聚类。
重新计算新的质心：对于每个聚类，找到一个新的质心。
迭代：重复步骤2和3，直到满足停止条件，如质心不再改变或达到预设的迭代次数。
终止：当聚类结果稳定或达到迭代次数后，算法终止。

2.1. K-Means 聚类

K-Means 聚类, 在计算每个簇的质心时, 是使用簇的中心点（均值）。

K-Means 聚类的质心计算公式
对于K-Means聚类，每个簇的质心是该簇内所有点的均值。
假设第( i )个簇包含 $N_i$ 个数据点，每个数据点有( d )个特征。
第( i )个簇的质心 $\mu_i$ 的计算公式为：
$\mu_i = \frac{1}{N_i} \sum_{j \in C_i} x_j$

其中：

$\mu_i$ 是第( i )个簇的质心。
$N_i$ 是第( i )个簇中的点的数量。
$C_i$ 是第( i )个簇中的点的集合。
$x_j$ 是第( j )个点的坐标。

特点：
- 简单，易于实现。
- 对于大规模数据集效率较高。
- 对初始中心点的选择敏感，可能导致局部最优解。
- 对异常值和噪声敏感。

适用场景：
- 数据分布近似为高斯分布。
- 需要快速聚类结果的场景。

2.2. K-Medoid 聚类

K-Medoid 聚类, 在计算每个簇的质心时, 由一个实际的数据点（Medoid）代表。

K-Medoid 聚类的质心计算公式
K-Medoid聚类不使用质心的概念，而是使用Medoid。Medoid是簇中与其他点距离之和最小的点。
因此，K-Medoid算法中没有直接计算质心的公式，而是通过以下步骤确定Medoid：

对于每个簇，计算每个点到该簇内其他所有点的总距离。
选择总距离最小的点作为Medoid。

这个过程可以表示为：

$\text{medoid}_i = \arg \min_{x_j \in C_i} \sum_{x_k \in C_i} d(x_j, x_k)$

其中：

$\text{medoid}_i$ 是第 i 个簇的 Medoid。
$d(x_j, x_k)$ 是点 $x_j$ 和 $x_k$ 之间的距离。
$C_i$ 是第( i )个簇中的点的集合。
特点：
- 对异常值和噪声具有较好的鲁棒性。
- 计算复杂度较高，因为需要重新计算所有点到 Medoid 的距离。
- 可以处理非凸形状的聚类。
- 可能找到全局最优解，因为每次迭代都可能改变 Medoid。
适用场景：
- 数据分布不规则或包含异常值。
- 需要更鲁棒的聚类结果。

2.3. K-Means vs K-Medoid

在 K-Medoid 算法中，Medoid 的确定是一个优化问题，需要评估簇内所有点作为 Medoid 时的总距离，并选择使这个总距离最小的点。这个过程通常比 K-Means 中的质心计算更为复杂，因为它涉及到对每个簇内所有点的两两距离计算。

比较项	K-Means	K-Medoid
中心点	K-Means使用计算出的中心点	K-Medoid使用实际的数据点作为中心
鲁棒性	K-Means容易受到这些因素的影响	K-Medoid对异常值和噪声更鲁棒
计算复杂度	K-Means通常更快，因为它只需要计算均值	K-Medoid需要计算每个点到Medoid的距离，计算量更大
聚类形状	K-Means倾向于创建圆形或球形的簇	K-Medoid可以适应更复杂的形状
全局最优	对初始中心点的选择敏感，可能导致局部最优解	K-Medoid更可能找到全局最优解，因为它在每次迭代中都重新评估所有点作为Medoid的可能性

3. 基础定义

3.1. 距离计算类型

用于测试不同的距离计算公式对聚类结果的影响。

public enum DistanceEnum {
    EUCLIDEAN("欧氏距离"),
    MANHATTAN("曼哈顿距离"),
    MINKOWSKI("闵可夫斯基距离"),
    CHEBYSHEV("切比雪夫距离"),
    COSINE("余弦距离"),
    OTHERS("其他");

    private String distance;

    private DistanceEnum(String distance) {
        this.distance = distance;
    }
}

3.2. 用例和质心定义

用于存放用例数据或质心。

/**
 * 用例和质心的定义
 */
public class CaseRecord {
    // 用例 id
    private String id;
    // 用例的特征键值
    private Map<String, String> attributeMap;
    // 用例的向量
    private double[] vector;
    // 用例所属的质心
    private CaseRecord center;
    // 距离计算类型
    private DistanceEnum distanceType;
    // 距离值
    private double distance;
    // 聚类用例的数量
    private int clusterSize;
    // F-measure rate
    private Rate rate;
}