聚类算法K-means简介（八）

1.聚类算法原理

聚类算法在生活中常见到，比如在一堆含有黄豆、黑豆、白豆的豆子里，我们将按照豆子的颜色进行分类，分出黄豆、黑豆、白豆三类豆子，这个过程其实就是聚类的过程，但是对于机器学习中的聚类算法，属于无监督学习。
在给出的训练样本中，标记信息是未知的，聚类算法就是要通过无标记训练的学习来揭示数据的内在性质及规律，将训练样本进行分类，试图将数据集中的样本划分为若干个通常是不想交的子集，每个子集称为一个”簇“（cluster）。

2.K-means

（1）概述

K-means聚类算法也称k均值聚类算法，是集简单和经典于一身的基于距离的聚类算法。它采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大，根据相似度来划分独立的簇。即K-means算法的原理。

（2）K-means算法

K-means算法主要算法流程是：
1）首先确定一个k值，即我们希望将数据集经过聚类得到k个集合。
2）从数据集中随机选择k个数据点作为质心。
3）对数据集中每一个点，计算其与每一个质心的距离（如欧式距离），离哪个质心近，就划分到那个质心所属的集合。
4）把所有数据归好集合后，一共有k个集合。然后重新计算每个集合的质心。
5）如果新计算出来的质心和原来的质心之间的距离小于某一个设置的阈值（表示重新计算的质心的位置变化不大，趋于稳定，或者说收敛），我们可以认为聚类已经达到期望的结果，算法终止。
6）如果新质心和原质心距离变化很大，需要迭代3~5步骤。

K-means算法的数据推导过程是：
给定样本集D={x₁,x₂,x₃,…,x_m},K-means算法针对聚类所得簇划分C={C₁，C₂，C₃，…，C_k}最小化平方误差E（即损失函数）：

其中u_j是C_j簇的均值向量，即：

k-means模型的目的是找寻最佳的k值，使损失函数最小，之后就可以对聚类中心{μ_j}直接计算了。由此可见，它既是聚类的最终结果，也是需要估算的模型参数。