机器学习之八大算法⑥——聚类(KMeans算法)

KMeans算法代码及注释

import numpy as np                      #科学计算
import matplotlib.pyplot as plt         #画图
from sklearn.cluster import KMeans      #KMeans算法

# 显示中文、负号
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 读取数据
x = np.loadtxt(r'test.txt')

# 特征缩放
x -= np.mean(x,0)
x /= np.std(x,0,ddof=1)

# 洗牌
np.random.seed(7)
x = np.random.permutation(x)

#肘部法则选取K值
k = np.arange(1,11)
jarr = []
for i in k:
    modle = KMeans(n_clusters=i)
    modle.fit(x)							# 训练模型
    jarr.append(modle.inertia_)				#将代价存储到列表
    plt.annotate(str(i),(i,modle.inertia_))#注释 第1个参数：加的注释的内容，第2个参数：加注释的位置的坐标

#画肘部法则曲线
plt.title('肘部曲线')
plt.plot(k,jarr)
plt.scatter(k,jarr,c='r')		#画出点的颜色
plt.show()

#通过肘部法则选取 K=4
#重新创建模型
k = 4
modle1 = KMeans(n_clusters=k)

#训练模型
modle1.fit(x)

#计算聚类并预测每个样本的中心
ci = modle1.predict(x)

# 聚类中心坐标
muk = modle1.cluster_centers_

# #画图
plt.title('聚类归属散点图')

#样本散点分布图
plt.scatter(x[:,0],x[:,1],c=ci)

#画聚类中心
plt.scatter(muk[:,0],muk[:,1],marker='^',cmap=plt.cm.Paired,s=50)
for i in range(k):
    plt.annotate('中心'+str(i+1),(muk[i,0],muk[i,1]),size=20)         #注释
plt.show()

效果展示

所用到数据集如下:

1.658985	4.285136
-3.453687	3.424321
4.838138	-1.151539
-5.379713	-3.362104
0.972564	2.924086
-3.567919	1.531611
0.450614	-3.302219
-3.487105	-1.724432
2.668759	1.594842
-3.156485	3.191137
3.165506	-3.999838
-2.786837	-3.099354
4.208187	2.984927
-2.123337	2.943366
0.704199	-0.479481
-0.392370	-3.963704
2.831667	1.574018
-0.790153	3.343144
2.943496	-3.357075
-3.195883	-2.283926
2.336445	2.875106
-1.786345	2.554248
2.190101	-1.906020
-3.403367	-2.778288
1.778124	3.880832
-1.688346	2.230267
2.592976	-2.054368
-4.007257	-3.207066
2.257734	3.387564
-2.679011	0.785119
0.939512	-4.023563
-3.674424	-2.261084
2.046259	2.735279
-3.189470	1.780269
4.372646	-0.822248
-2.579316	-3.497576
1.889034	5.190400
-0.798747	2.185588
2.836520	-2.658556
-3.837877	-3.253815
2.096701	3.886007
-2.709034	2.923887
3.367037	-3.184789
-2.121479	-4.232586
2.329546	3.179764
-3.284816	3.273099
3.091414	-3.815232
-3.762093	-2.432191
3.542056	2.778832
-1.736822	4.241041
2.127073	-2.983680
-4.323818	-3.938116
3.792121	5.135768
-4.786473	3.358547
2.624081	-3.260715
-4.009299	-2.978115
2.493525	1.963710
-2.513661	2.642162
1.864375	-3.176309
-3.171184	-3.572452
2.894220	2.489128
-2.562539	2.884438
3.491078	-3.947487
-2.565729	-2.012114
3.332948	3.983102
-1.616805	3.573188
2.280615	-2.559444
-2.651229	-3.103198
2.321395	3.154987
-1.685703	2.939697
3.031012	-3.620252
-4.599622	-2.185829
4.196223	1.126677
-2.133863	3.093686
4.668892	-2.562705
-2.793241	-2.149706
2.884105	3.043438
-2.967647	2.848696
4.479332	-1.764772
-4.905566	-2.911070

详细用法(聚类算法python库实现:)

estimator = KMeans(n_clusters=4)
主要参数：

n_clusters : 聚类中心数目, 缺省为8

init : 初始化方法 {‘k-means++’, ‘random‘, ndarray}, 缺省’k-means++’ (智能选择聚类中心)

n_init : k-means算法在以不同的聚类中心组合运行的次数，缺省10

max_iter : k-means算法每次运行时，最大迭代次数，缺省300

tol : 容忍度, 可选, 缺省le-4, 达到此值即停止

precompute_distances : 提前计算距离{‘auto’, True, False} ‘auto’: 若n_samples * n_clusters > 12 million 不进行

random_state: 缺省None; 若int, 随机数产生器seed, 若RandomStates实例, 随机数产生器, 若None, np.random

---

调用库函数计算：建立模型并计算

estimate.fit(X) # 调用库函数计算k-means算法
estimate.predict(X) #预测数据集X中每个样本所属的聚类中心索引
estimate.fit_predict(X) #计算聚类并预测每个样本的中心：[索引1, 索引2…]
estimate.transform(X) #将样本数据集X转换到(聚类-距离)空间shape(m,k)
estimate.fit_transform(X) # 计算聚类并将X转换到(聚类-距离)空间: shape(m,k)
estimate.cluster_centers_ #聚类中心坐标: shape(k, n_features)
estimate.labels_ #每个样本的所属中心标签索引,同predict(X),shape(m,)
estimate.inertia_ # 所有样本与其最近中心距离的平方和
estimate.score(X) # k-mean算法目标值的相反值, 即inertia_相反值