机器学习（三）：数据与图像的K-means聚类

机器学习（三）：数据聚类I

任务如下：

一、需要了解或掌握的内容。

①make_circles、与make_moons介绍见本系列第一篇机器学习（一）：低纬数据可视化，make_blobs用法与前两者大同小异，这里就不多做介绍，感兴趣的可以自行了解。
②K-Means核心原理:K-means聚类算法首先是随机选取K个对象作为初始的聚类中心，然后计算每个样本与各个聚类中心之间的距离，把每个样本分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。每分配一次样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有（或最小数目）样本被重新分配给不同的聚类，没有（或最小数目）聚类中心再发生变化，误差平方和局部最小。
③K-Means算法详解：
输入：数据样本{x_i}_i=1^n，聚类个数K.
输出：所有样本的聚类标签{y_i}_i=1^n.
步骤：
（1）随机生成K个聚类中心，u1, …, uK；
（2）重复3和4步直至收敛：
（3）计算每个样本与每一个聚类中心的距离（如欧式距离），离哪个
聚类中心近，就划分到那个聚类所属的集合；
（4）重新计算每个集合的聚类中心；
（5）返回所有样本的聚类标签。
④K-Means三个评价指标：
（1）聚类精度 (clustering accuracy)：
ACC用于测量实际标签和通过算法获得的预测标签之间的精度。假设一数据集
, 实际标签为g_i, 预测标签为p_i, 则ACC计算公式定义如下：

上式中，如果a=b, 则函数δ(a,b)=1, 否则，函数δ(a,b)=0。 map(•)是将获得的聚类标签与数据集的等效标签匹配的最佳排列映射函数。

（2）标准化互信息（ Normalized mutual information ）：
给定两个随机变量P和Q, 则NMI计算公式定义如下：

上式中，I(P;Q)代表P和Q的互信息，H§和H(Q)分别代表P与Q的熵值。

(3)调整的兰德系数（ Adjusted rand index ）：


熟悉上述内容后，就可以开始做题了。

二、通过Sklearn中的make_circles、make_moons、make_blobs方法生成数据，并用K-Means聚类并可视化。

原理介绍过了，这里就直接上代码

from sklearn.datasets import make_circles
from sklearn.datasets import make_moons
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import accuracy_score
from sklearn.metrics import normalized_mutual_info_score
from sklearn.metrics import adjusted_rand_score
import matplotlib.pyplot as plt
import numpy as np

def Kmeans(x1,n):
    kmeans = KMeans(n_clusters=n) #n个聚类中心
    kmeans.fit(x1)
    y_kmeans = kmeans.predict(x1)
    centers = kmeans.cluster_centers_    #聚类中心
    return y_kmeans,centers

fig = plt.figure()

#make_circles聚类
#聚类前
x1, y1 = make_circles(n_samples=400, factor=0.2, noise=0.1)  
plt.title('make_circles')
plt.scatter(x1[:,0],x1[:,1],marker='*',c=y1,cmap='Spectral')  
plt.show()
#聚类后，下同
y_kmeans,centers = Kmeans(x1,2)
plt.scatter(x1[:,0],x1[:,1],marker='*',c=y_kmeans,cmap='Spectral')
plt.scatter(centers[:,0], centers[:,1],marker='*',c='black'<