kmeans中的k的含义_sklearn中的K-means算法

sklearn中的K-means算法

目录：

1 传统K-means聚类

2 非线性边界聚类

3 预测结果与真实标签的匹配

4 聚类结果的混淆矩阵

参考文章：

K-means算法实现：文章介绍了k-means算法的基本原理和scikit中封装的kmeans库的基本参数的含义

K-means源码解读 ： 这篇文章解读了scikit中kmeans的部分源码

本例的notebook笔记文件：git仓库

首先导入必须的库：

from matplotlib import pyplot  as plt
from sklearn.metrics import accuracy_score
import numpy as np
import seaborn as sns; sns.set()
%matplotlib inline

1 传统K-means聚类

构造数据集

from sklearn.datasets.samples_generator import make_blobs
X, y_true = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)
plt.scatter(X[:,0], X[:, 1], s=50)

from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=4)
kmeans.fit(X)
y_kmeans = kmeans.predict(X)

绘制聚类结果， 画出聚类中心

plt.scatter(X[:, 0], X[:, 1], c=y_kmeans, s=50, cmap='viridis')
​
centers = kmeans.cluster_centers_
plt.scatter(centers[:,0], centers[:, 1], c='black', s=80, marker='x')

2 非线性边界聚类

对于非线性边界的kmeans聚类的介绍，查阅于《python数据科学手册》P410

构造数据

from sklearn.datasets import make_moons
X, y = make_moons(200, noise=0.05, random_state=0)

传统kmeans聚类失败的情况

labels = KMeans(n_clusters=2, random_state=0).fit_predict(X)
plt.scatter(X[:, 0], X[:, 1], c=labels, s=50, cmap='viridis')

应用核方法， 将数据投影到更高纬的空间，变成线性可分

from sklearn.cluster import SpectralClustering
model = SpectralClustering(n_clusters=2, affinity='nearest_neighbors', assign_labels='kmeans')
labels = model.fit_predict(X)
plt.scatter(X[:, 0], X[:, 1], c=labels, s=50, cmap='viridis')

3 预测结果与真实标签的匹配

手写数字识别例子

from sklearn.datasets import load_digits
digits = load_digits()

进行聚类

kmeans = KMeans(n_clusters=10, random_state=0)
clusters = kmeans.fit_predict(digits.data)
kmeans.cluster_centers_.shape
(10, 64)

可以将这些族中心点看做是具有代表性的数字

fig, ax = plt.subplots(2, 5, figsize=(8, 3))
centers = kmeans.cluster_centers_.reshape(10, 8, 8)
for axi, center in zip(ax.flat, centers):
    axi.set(xticks=[], yticks=[])
    axi.imshow(center, interpolation='nearest', cmap=plt.cm.binary)

进行众数匹配

from scipy.stats import mode
​
labels = np.zeros_like(clusters)
for i in range(10):
    #得到聚类结果第i类的 True Flase 类型的index矩阵
    mask = (clusters ==i)
    #根据index矩阵，找出这些target中的众数，作为真实的label
    labels[mask] = mode(digits.target[mask])[0]

有了真实的指标，可以进行准确度计算

accuracy_score(digits.target, labels)
0.7935447968836951

4 聚类结果的混淆矩阵

from sklearn.metrics import confusion_matrix
mat = confusion_matrix(digits.target, labels)
np.fill_diagonal(mat, 0)
sns.heatmap(mat.T, square=True, annot=True, fmt='d', cbar=False,
            xticklabels=digits.target_names,
            yticklabels=digits.target_names)
plt.xlabel('true label')
plt.ylabel('predicted label')