计算智能——K-均值算法

K-均值(K-means算法)算法学习笔记

                             ——慕课-商务数据分析(复旦大学 -赵卫东/董亮) 学习笔记

一.聚类分析简介

      聚类分析是一种典型的无监督学习，用于对未知类别的样本进行划分，将它们按照一定的规则划分成若干个类族，把相似（距高相近）的样本聚在同一个类簇中，把不相似的样本分为不同的类簇，从而揭示样本之间内在的性质以及相互之间的联系规律。

      聚类算法在银行，零售，保险，医学，军事等诸多领域有着广泛的应用。

二.基于划分的聚类方法

      基于划分的方法是简单、常用的一种聚类方法。通过将对象划分为互斥的簇进行聚类，每个对象仅属于一个簇。划分结果旨在使簇之间的相似性低，簇内的相似度高，基于划分的常用算法有K均值(K-means算法)、k-medoids、k-prototype等。

三．K-均值(K-means)算法简介
      K-均值(K-means)聚类是基于划分的聚类算法，是一种迭代算法。计算样本点与类簇质心的距离，与类簇质心相近的样本点划分为同一类簇。K-均值通过样本点间的距离来衡量他们之间的相似度，两个样本距离越远，则相似度越低，否则相速度越高。K-均值(K-means)算法不适用于非凸面形状(非球形)的数据集，例如图中的例子，聚类结果与初始目标有非常大的差别。

K-均值算法聚类步骤如下：
1.首先选取K个类簇(K需要用户进行指定)的质心，通常是随机选取。
2.对剩余的每个样本点，计算它们到各个质心的欧式距离，并将其归入到相互间距离最小的质心所在的簇。计算各个新簇的质心。
3.在所有样本点都划分完毕后，根据划分情况重新计算各个簇的质心所在的位置，然后迭代计算各个样本点到各簇质心的距离，对所有样本点进行重新划分。
4.重复第2和第3步，直到迭代计算后，所有样本点的划分情况保持不变，此时说明k-均值算法已经得到了最优解，将运行结果返回。

四．K-均值(K-means)算法过程

K-means工作流程：
K-means算法计算步骤基本上可以概括为两个部分：
1.计算每一个对象到类簇中心的距离；
2.根据类簇内的对象计算新的簇类中心。

创建k个点作为起始质心（多是随机选择）
repeat
对数据集中的每个数据点
repeat
对每个质心
计算质心与数据点之间的距离
将数据点分配到距离其最近的类（或簇）
对每一个类（簇），计算类（簇）中所有点的均值并将其作为质心。

K-means开发流程：
收集数据：使用任意方法
准备数据：需要数值型数据类计算距离, 也可以将标称型数据映射为二值型数据再用于距离计算。
分析数据：使用任意方法
训练算法：无监督学习不需要训练步骤