python 机器学习——聚类性能评估

一、综述

聚类性能度量亦称聚类“有效性指标”(validity index)。与监督学习中的性能度量作用类似，对聚类结果，我们需要通过某种性能度量来评估其好坏；另一方面，若明确了最终将要使用的性能度量，则可直接将其作为聚类过程的优化目标，从而更好地得到符合要求的聚类结果。

聚类是将样本集 D 划分为若干互不相交的子集，即样本簇。那么什么样的聚类结果比较好？直观上看，我们希望“物以类聚”，即同一簇的样本尽可能彼此相似，不同簇的样本尽可能不同。换言之，希望聚类结果的“簇内相似度”(intra-cluster similarity)高且“簇间相似度”(inter-cluster similarity)低。

聚类性能度量大致有两类。一类是将聚类结果与某个“参考模型”(reference model，即给定预期的划分结果，也就是给出参考答案)进行比较，称为“外部指标”(external index);另一类是直接考察聚类结果而不利用任何参考答案的模型，称为“内部指标”(internal index)。

二、Rand index(兰德指数)(RI) 、Adjusted Rand index(调整兰德指数)(ARI)

RI 取值范围为 [0,1]，值越大意味着聚类结果与真实情况越吻合。 RI 越大表示聚类效果准确性越高 同时每个类内的纯度越高。为了实现“在聚类结果随机产生的情况下，指标应该接近零”，调整兰德系数（Adjusted rand index）被提出，它具有更高的区分度。ARI 取值范围为[−1,1]，值越大意味着聚类结果与真实情况越吻合。从广义的角度来讲，ARI 衡量的是两个数据分布的吻合程度。

三、Silhouette Coefficient(轮廓系数)(s(i))

(1) 计算样本 i 到同簇其他样本的平均距离 ai。ai 越小，说明样本 i 越应该被聚类到该簇。将 ai 称为样本 i 的簇内不相似度。簇 C 中所有样本的 ai 均值称为簇 C 的簇不相似度。

(2) 计算样本 i 到其他某簇 Cj 的所有样本的平均距离 bij，称为样本 i 与簇 Cj 的不相似度。定义为样本 i 的簇间不相似度：bi =min{bi1, bi2, …, bik} bi 越大，说明样本 i 越不属于其他簇。

(3) 根据样本 i 的簇内不相似度 ai 和簇间不相似度 bi ，定义样本 i 的轮廓系数：

可见轮廓系数的值是介于 [-1,1] ，越趋近于1代表内聚度和分离度都相对较优。s(i)为 0 说明该点处于两类交界上。

四、建模实例

在上一节“手写数字识别”k-means 聚类建模的基础上，对该模型聚类性能进行评估。考虑到该数据集为识别数字，因此有明确的目标类别,使用外部指标进行性能评价。其中外部指标选择 ARI（Adjusted Rand Index）。另外生成一组数据点，用以演示内部指标的使用。内部指标选择轮廓系数(Silhouette Coefficient)来度量聚类结果的质量。

# 分别导入 numpy、matplotlib 以及 pandas，用于数学运算、作图以及数据分析。
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# 使用 pandas 分别读取训练数据与测试数据集。
digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra', header=None)
digits_test = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes', header=None)
# 从训练与测试数据集上都分离出 64 维度的像素特征与 1 维度的数字目标。
X_train = digits_train[np.arange(64)]
y_train = digits_train[64]
X_test = digits_test[np.arange(64)]
y_test = digits_test[64]
# 从 sklearn.cluster 中导入 KMeans 模型。
from sklearn.cluster import KMeans
# 初始化 KMeans 模型，并设置聚类中心数量为 10。
kmeans = KMeans(n_clusters=10)
kmeans.fit(X_train)
# 逐条判断每个测试图像所属的聚类中心。
y_pred = kmeans.predict(X_test)

性能评估

# 从 sklearn 导入度量函数库 metrics。
from sklearn import metrics
# 使用 ARI 进行 KMeans 聚类性能评估。
print(metrics.adjusted_rand_score(y_test, y_pred))

运行结果如下：

# 导入 numpy。
import numpy as np
# 从 sklearn.cluster 中导入 KMeans 算法包。
from sklearn.cluster import KMeans
# 从 sklearn.metrics 导入 silhouette_score 用于计算轮廓系数。
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
# 分割出 3*2=6 个子图，并在 1 号子图作图。
plt.subplot(3,2,1)
# 初始化原始数据点。
x1 = np.array([1, 2, 3, 1, 5, 6, 5, 5, 6, 7, 8, 9, 7, 9])
x2 = np.array([1, 3, 2, 2, 8, 6, 7, 6, 7, 1, 2, 1, 1, 3])
X = np.vstack((x1, x2)).transpose()

# 在 1 号子图做出原始数据点阵的分布。
# 限制 x,y 轴取值范围
plt.xlim([0, 10])
plt.ylim([0, 10])
# 打印标题Instances
plt.title('Instances')
# 绘制散点图
plt.scatter(x1, x2)
# 设置颜色和标记列表
colors = ['b', 'g', 'r', 'c', 'm', 'y', 'k', 'b']
markers = ['o', 's', 'D', 'v', '^', 'p', '*', '+']
# 设置聚类数 K 
clusters = [2, 3, 4, 5, 8]
subplot_counter = 1
sc_scores = []
for t in clusters:
    subplot_counter += 1
    plt.subplot(3, 2, subplot_counter)
    kmeans_model = KMeans(n_clusters=t).fit(X)
    for i, l in enumerate(kmeans_model.labels_):
        plt.plot(x1[i], x2[i], color=colors[l], marker=markers[l], ls='None')
    plt.xlim([0, 10])
    plt.subplots_adjust(hspace=1,wspace=1.5) # 子图之间加宽放在重叠
    plt.ylim([0, 10])
    sc_score = silhouette_score(X, kmeans_model.labels_, metric='euclidean')
    sc_scores.append(sc_score)
    # 绘制轮廓系数与不同类簇数量的直观显示图。
    plt.title('K = %s, silhouette coefficient= %0.03f' %(t, sc_score))

# 绘制轮廓系数与不同类簇数量的关系曲线。
plt.figure()
plt.plot(clusters, sc_scores, '*-')
plt.xlabel('Number of Clusters')
plt.ylabel('Silhouette Coefficient Score')
plt.show()

由此可见，当聚类中心数量为 3 的时候，轮廓系数最大，此时也可观察到聚类中心数量为 3 也符合数据的分布特点，的确是较为合理的类簇数量。

参考文献：

[1] 周志华. 机器学习[M]. 清华大学出版社, 北京, 2016.
[2] 范淼，李超.Python 机器学习及实践[M].清华大学出版社, 北京, 2016.