机器学习 day06(一)

K均值算法（K-means）聚类

【关键词】K个种子，均值

一、K-means算法原理

聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。

K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。

K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法

这个算法其实很简单，如下图所示：

从上图中，我们可以看到，A，B，C，D，E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以K=2。

然后，K-Means的算法如下：

1. 随机在图中取K（这里K=2）个种子点。
2. 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）
3. 接下来，我们要移动种子点到属于他的“点群”的中心。（见图上的第三步）
4. 然后重复第2）和第3）步，直到，种子点没有移动（我们可以看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。

这个算法很简单，重点说一下“求点群中心的算法”：欧氏距离（Euclidean Distance）：差的平方和的平方根

K-Means主要最重大的缺陷——都和初始值有关：

K是事先给定的，这个K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。（ISODATA算法通过类的自动合并和分裂，得到较为合理的类型数目K）

K-Means算法需要用初始随机种子点来搞，这个随机种子点太重要，不同的随机种子点会有得到完全不同的结果。（K-Means++算法可以用来解决这个问题，其可以有效地选择初始点）

总结：K-Means算法步骤：

1. 从数据中选择k个对象作为初始聚类中心;
2. 计算每个聚类对象到聚类中心的距离来划分；
3. 再次计算每个聚类中心
4. 计算标准测度函数，直到达到最大迭代次数，则停止，否则，继续操作。
5. 确定最优的聚类中心

K-Means算法应用

看到这里，你会说，K-Means算法看来很简单，而且好像就是在玩坐标点，没什么真实用处。而且，这个算法缺陷很多，还不如人工呢。是的，前面的例子只是玩二维坐标点，的确没什么意思。但是你想一下下面的几个问题：

1）如果不是二维的，是多维的，如5维的，那么，就只能用计算机来计算了。

2）二维坐标点的X，Y 坐标，其实是一种向量，是一种数学抽象。现实世界中很多属性是可以抽象成向量的，比如，我们的年龄，我们的喜好，我们的商品，等等，能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如：我们认为，18岁的人离24岁的人的距离要比离12岁的距离要近，鞋子这个商品离衣服这个商品的距离要比电脑要近，等等。

二、实战

1、聚类实例

重要参数：

• n_clusters：聚类的个数
  重要属性：
• cluster_centers_ : [n_clusters, n_features]的数组，表示聚类中心点的坐标
• labels_ : 每个样本点的标签

1.1 导包，使用make_blobs生成随机点cluster_std

1. 导入数据集模块,创建一系列的样本点
   
   make_blobs()这个函数用于创建一系列的样本点,我们可以指定这些样本点的特征数,样本数,类别数等
   n_features=2, 特征数为2
   n_samples=150, 样本数为150
   centers=3, 类别数为3
   random_state=1 随机程度为1

2. 绘制散点图
   

1.2 用聚类算法将上面的样本点分成3类

1. 创建K-Means算法模型,训练
   

这个算法是无监督学习算法，只传特征数据，不传标签
无监督学习不是致力于由已知数据预测未知数据，而是对客观数据的特征进行相关的处理
这个训练的过程：
1）我们取2个种子点
2）求所有样本点到每一个种子点的距离并且进行所有样本点的聚类归属的划分
3）求每一个聚类的中心点作为新的种子点 4）重复2、3两步，直至所有的种子点不再移动为止
K-means算法训练完以后，会从0开始给每一个聚类进行编号

2. 查看聚类
   
   0,1,2表示该数据属于哪个聚类

3. 查看聚类的中心点（即种子点)
   
   绘图查看,红色点即为种子点
   

2 . 实战 亚洲足球队数据

导入数据

把亚洲15支球队划分3个聚类

1. 提取出能够度量的属性作为特征
   
2. 划分3个聚类,训练
   
3. 查看聚类,输出三个聚类上的国家