CH3 K-means聚类

Jin4869

已于 2022-12-21 00:43:04 修改

阅读量1.5k

点赞数 10

分类专栏：机器学习文章标签：聚类 kmeans

于 2022-12-19 16:36:53 首次发布

本文链接：https://blog.csdn.net/Jin4869/article/details/128374469

版权

12 篇文章 1 订阅

订阅专栏

本文详细介绍了K-means聚类算法的步骤、目标函数，并通过一个具体的例子展示了算法的运行过程。从随机选择初始聚类中心开始，到计算样本与中心的距离，重新计算聚类中心，直至满足终止条件。K-means的目标是最小化所有点到其聚类中心的范数之和。在给定的8点实例中，经过迭代最终确定了稳定聚类。

摘要由CSDN通过智能技术生成

随机选取K个对象作为初始的聚类中心，然后计算每个样本与各个聚类中心之间的距离，把每个样本分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类

每分配一次样本，聚类的聚类中心会根据聚类中现有的对象被重新计算

这个过程不断重复直到满足某个终止条件，可以是没有（或最小数目）样本被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小

在这里K就是我们想要分割的聚类个数

输入： 数据样本 $\{x_i\}^n_{i=1}$ ，聚类个数K
输出： 所有样本的聚类标签 $\{y_i\}^n_{i=1}$
1. 随机生成K个聚类中心， $u_1,\ldots,u_k$
2. 重复如下至收敛：
  1. 计算每个样本与每一个聚类中心的距离（如欧式距离），离哪个聚类中心近，就划分到哪个聚类所属的集合
  2. 重新计算每个集合的聚类中心（集合中坐标的中心点）
3. 返回所有样本的聚类标签

在这里插入图片描述

$\sum^n_{i=1}\sum^k_{j=1}r_{ij}||x_i-\mu_j||\quad\text{所有点到他距离中心的范数之和}$

范数：
$\begin{split} ||x_i-\mu_j|| &= (x_i-\mu_j)^T(x_i-\mu_j)\\ &= (x_i^T-\mu_j^T)(x_i-\mu_j)\\ &=x_i^Tx_i-2x_i\mu_j+\mu_j^T\mu_j \end{split}$

如果 $x_i$ 被分配到第j个类簇中，则 $r_{ij}=1$ ，否则 $r_{ij}=0$
通过对上式中 $\mu_i$ 求导可得类簇中心更新公式：
$\mu_j = \frac{\sum^n\limits_{i=1}r_{ij}x_i}{\sum^n\limits_{i=1}r_{ij}}$

假设有如下8个点：(3,1), (3,2), (4,1), (4,2), (1,3), (1,4), (2,3), (2,4)，使用K- means算法对其进行聚类。设初始聚类中心分别为(0,4)和(3,3)，请写出详细的计算过程

1.数据

2.初始聚类中心分别为D1(0,4)，D2(3,3)计算各点到两中心的距离

3.根据上表分成两簇，{A1, A2, A3, A4, A7, A8}, {A5, A6}重新计算新的聚类中心

D3(3, 2.167)
- x = (3+3+4+4+2+2)/6 = 3 (各点横坐标平均值)
- y = (1+2+1+2+3+4)/6 = 2.167 （各点纵坐标平均值）
D4(1, 3.5)
- x = (1+1)/2 = 1
- y = (3+4)/2 = 3.5

4.计算新的距离表

5.根据上表分成两簇，{A1, A2, A3, A4}, {A5, A6, A7, A8}重新计算新的聚类中心

6.计算新的距离表