机器学习之K均值算法（K-means）聚类

操作平台： windows10, python37, jupyter

---

一、K-means算法原理

聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。

• K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。
  
• K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法

• 这个算法其实很简单，如下图所示：
  

从上图中，我们可以看到，A，B，C，D，E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以K=2。

• GIF动画实例：
  
  它们先分别连接离自己最近的点，然后移动到中间，再放弃不是离自己最近的点，重新连接离自己近的点。

然后，K-Means的算法如下：

1. 随机在图中取K（这里K=2）个种子点。
2. 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）
3. 接下来，我们要移动种子点到属于他的“点群”的中心。（见图上的第三步）
4. 然后重复第2）和第3）步，直到，种子点没有移动（我们可以看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。

这个算法很简单，重点说一下“求点群中心的算法”：欧氏距离（Euclidean Distance）：差的平方和的平方根

K-Means主要最重大的缺陷——都和初始值有关：

1. K是事先给定的，这个K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。（ISODATA算法通过类的自动合并和分裂，得到较为合理的类型数目K）

2. K-Means算法需要用初始随机种子点来搞，这个随机种子点太重要，不同的随机种子点会有得到完全不同的结果。（K-Means++算法可以用来解决这个问题，其可以有效地选择初始点）

总结：K-Means算法步骤：

1. 从数据中选择k个对象作为初始聚类中心;
2. 计算每个聚类对象到聚类中心的距离来划分；
3. 再次计算每个聚类中心
4. 计算标准测度函数，直到达到最大迭代次数，则停止，否则，继续操作。
5. 确定最优的聚类中心

K-Means算法应用：
看到这里，你会说，K-Means算法看来很简单，而且好像就是在玩坐标点，没什么真实用处。而且，这个算法缺陷很多，还不如人工呢。是的，前面的例子只是玩二维坐标点，的确没什么意思。但是你想一下下面的几个问题：

1）如果不是二维的，是多维的，如5维的，那么，就只能用计算机来计算了。
2）二维坐标点的X，Y 坐标，其实是一种向量，是一种数学抽象。现实世界中很多属性是可以抽象成向量的，比如，我们的年龄，我们的喜好，我们的商品，等等，能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如：我们认为，18岁的人离24岁的人的距离要比离12岁的距离要近，鞋子这个商品离衣服这个商品的距离要比电脑要近，等等。

---

二、实战1

2.1、make_blobs随机生成点

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

# 无监督学习，只有分类
from sklearn.cluster import KMeans

import sklearn.datasets as datasets
#随机生成点
X,y = datasets.make_blobs()
#画散点图
plt.scatter(X[:,0],X[:,1]) #如果加上 c = y ，那么散点自带颜色

2.2、聚类

kmeans = KMeans(3) #聚成3类

kmeans.fit(X)

y_ = kmeans.predict(X)

plt.scatter(X[:,0],X[:,1],c = y_) #画散点图

---

2.3、轮廓系数

• 当一个数据我们不知道聚成多少类合适时，我们可以通过轮廓系数的最大值来确定，轮廓系数越大，说明聚类越好。

from sklearn.metrics import silhouette_score
kmeans = KMeans(2) #聚成两类

kmeans.fit(X)

y_ = kmeans.predict(X)

print (silhouette_score(X,y_)) # 查看轮廓系数

0.7182695065525002

---

三、实战2

Kmeans将亚洲足球队自动分组

3.1、导入数据

#导入库
import numpy as np
import pandas as pd
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
%matplotlib inline

#导入数据，并添加表头
data = pd.read_csv('./Asiafootball.txt',header = None,names = ['国家','2006','2010','2007'])
data

	国家	2006	2010	2007
0	中国	50	50	9
1	日本	28	9	4
2	韩国	17	15	3
3	伊朗	25	40	5
4	沙特	28	40	2
5	伊拉克	50	50	1
6	卡塔尔	50	40	9
7	阿联酋	50	40	9
8	乌兹别克斯坦	40	40	5
9	泰国	50	50	9
10	越南	50	50	5
11	阿曼	50	50	9
12	巴林	40	40	9
13	朝鲜	40	32	17
14	印尼	50	50	9

3.2、切分数据

X = data.iloc[:,1:] #把国家切掉
X.head(3) #显示前三行数据

	2006	2010	2007
0	50	50	9
1	28	9	4
2	17	15	3

3.3、聚类

kmeans = KMeans(n_clusters=3)
kmeans.fit(X)
y_ = kmeans.predict(X)
y_

array([2, 1, 1, 0, 0, 2, 2, 2, 0, 2, 2, 2, 0, 0, 2])

结果分析： 现在已经上面的数据已经被分为三类了，得到每个的索引。

3.4、查看所有的国家

c = data['国家'].values
c

array(['中国', '日本', '韩国', '伊朗', '沙特', '伊拉克', '卡塔尔', '阿联酋', '乌兹别克斯坦', '泰国',
       '越南', '阿曼', '巴林', '朝鲜', '印尼'], dtype=object)

3.5、聚类国家

• 根据国家的战况，放战力差不多的国家聚在一起。

for i in range(3):
    print(c[np.argwhere(y_ == i).ravel()])

['伊朗' '沙特' '乌兹别克斯坦' '巴林' '朝鲜']
['日本' '韩国']
['中国' '伊拉克' '卡塔尔' '阿联酋' '泰国' '越南' '阿曼' '印尼']