数学建模 - K-means聚类

解决问题

将样本划分为由类似的对象组成的多个类的过程（聚类）。
聚类后，可以更加准确的在每个类中单独使用统计模型进行估计、分析或预测；也可以探究不同类之间的相关性和主要差异。
（KMeans本质上是一种基于欧式距离度量的数据划分方法）
ps. 分类是已知类别的，聚类未知。

算法流程

K-means聚类算法：

1. 指定需要划分的簇的个数K值（类的个数）;
2. 随机地选择K个数据对象作为初始的聚类中心（不一定要是我们的样本点）;
3. 计算其余的各个数据对象到这K个初始聚类中心
   的距离，把数据对象划归到距离它最近的那个中心所
   处在的簇类中;
4. 调整新类并且重新计算出新类的中心;
5. 循环步骤三和四，看中心是否收敛（不变），如
   果收敛或达到迭代次数则停止循环;
6. 结束

公式过程： k-means聚类算法

模型特性

K-means聚类优点：
（1）算法简单、快速。
（2）对处理大数据集，该算法是相对高效率的。
当簇是密集的、球状或团状的，且簇与簇之间区别明显时，聚类效果较好 。

K-means聚类缺点：
（1）要求用户必须事先给出要生成的簇的数目K。
（2）对初值敏感。
（3）对于孤立点数据敏感。

ps. K‐means++算法可解决2和3这两个缺点。
K-means++算法选择初始聚类中心的基本原则是：
初始的聚类中心之间的相互距离要尽可能的远。（只对K-means算法“初始化K个聚类中心” 这一步进行了优化）
即进行预处理优化：

步骤一：随机选取一个样本作为第一个聚类中心；

步骤二：计算每个样本与当前已有聚类中心的最短距离（即与最近一个聚类中心的距离），这个值越大，表示被选取作为聚类中心的概率较大；
最后，用轮盘法（依据概率大小来进行抽选）选出下一个聚类中心；

步骤三：重复步骤二，直到选出K个聚类中心。选出初始点后，就继续使用标准的K-means算法了。

使用方法

1. 利用Spss软件
   默认使用的是K-means++算法

2. 利用matlab软件

X2 = zscore(X);      % zscore方法标准化数据  

Y2 = pdist(X2);      % 计算距离（默认欧式距离）

Z2 = linkage(Y2);    % 定义变量之间的连接，用指定的算法计算系统聚类树

T = cluster(Z2,6);   % 创建聚类

H = dendrogram(Z2);  % 作出系谱图（散点聚类图看腻了，这里画个系谱图）

结合 MATLAB 中的一些函数，结果作出系谱图
ps. MATLAB 以及 sklearn 也提供了相应的 kmeans() 函数可供直接聚类使用

from 5 分钟带你弄懂 K-means 聚类

注意事项

a. 聚类个数（K值）

分几类主要取决于个人的经验与感觉，通常的做法是多尝试几个K值，看分成几类的结果更好解释，更符合分析目的等。（即提前应该要知道分类数目）
ps. 如果不能提前判断要分几类，可以采用系统（层次）聚类算法。

b. 数据量纲

如果数据的量纲不一样，那么算距离时就没有意义。例如：如果X1单位是米，X2单位是吨，用距离公式计算就会出现“米的平方”加上“吨的平方”再开平方，最后算出的东西没有数学意义，这就有问题了。
所以应该先进行数据的预处理（标准化处理）

可以直接利用spss实现：

c. 分类与聚类区别

分类：类别是已知的，通过对已知类别的数据进行训练和学习，找到这些不同类的特征，再对未知类别的数据进行分类。属于监督学习。

聚类：事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。属于无监督学习。

一般而言，是否有监督，就看输入数据是否有标签，输入数据有标签，则为有监督学习，否则为无监督学习。

d. 适用条件

KMeans方法只有在簇的平均值被定义的情况下才能使用，且对有些分类属性的数据不适合。
异常值会对均值计算产生较大影响，导致中心偏移，因此对于"噪声"和孤立点数据最好能提前过滤 。

e. 对于K值的选择

from K-Means算法之K值的选择

f. 簇的形式

from K-means聚类算法

g. 与其他聚类算法的比较

k-means聚类算法优缺点？

参考资料

清风数学建模

k-means聚类算法

5 分钟带你弄懂 K-means 聚类

K-Means算法之K值的选择

K-means聚类算法

k-means聚类算法优缺点？

机器学习，KMeans聚类分析详解