数据挖掘模型——K-Means聚类算法——python代码

K-Means算法是典型的基于距离的非层次聚类算法，在最小化误差函数的基础上将数据划分为预定的类数K，采用距离作为相似性评价指标，即认为两个对象的距离越近，其相似度越大。

（1）算法过程

　　a:从N个样本数据中随机选取K个对象作为初始的聚类中心；

　　b:分别计算每个样本到各个聚类中心的距离，将对象分配到距离最近的聚类中；

　　c:所有对象分类完成后，重新计算K个聚类的中心；

　　d:与前一次计算得到的K个聚类中心比较，若聚类中心发生变化，转过程2，否则，转过程5；

　　e:当质心不发生变化时，停止并输出聚类结果。

（2）数据类型与相似性变量

　　连续属性，先对各属性值进行零——均值规范，再进行距离计算。K-Means算法，一般需先度量样本间（欧几里得距离、曼哈顿距离、闵可夫斯距离） ，样本与簇间（样本到簇中心的距离）及簇与簇间距离（簇中心距离 ）。

　　文档数据，使用余弦相似性度量，先将文档数据整理成文档——词矩阵格式，再计算相似性

（3）目标函数

　　使用误差平方和SSE作为度量聚类质量的目标函数，对两种不同的聚类结果，选择误差平方和较小的分类结果。

　　连续属性的SSE

　　文档数据的SSE

　　簇Ei的聚类中心ei

#-*- coding: utf-8 -*-
#使用K-Means算法聚类消费行为特征数据

import pandas as pd

#参数初始化
inputfile = '../data/consumption_data.xls' #销量及其他属性数据
outputfile = '../tmp/data_type.xls' #保存结果的文件名
k = 3 #聚类的类别
iteration = 500 #聚类最大循环次数
data = pd.read_excel(inputfile, index_col = 'Id') #读取数据
data_zs = 1.0*(data - data.mean())/data.std() #数据标准化

from sklearn.cluster import KMeans
model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration) #分为k类，并发数4
model.fit(data_zs) #开始聚类

#简单打印结果
r1 = pd.Series(model.labels_).value_counts() #统计各个类别的数目
r2 = pd.DataFrame(model.cluster_centers_) #找出聚类中心
r = pd.concat([r2, r1], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目
r.columns = list(data.columns) + [u'类别数目'] #重命名表头
print(r)

#详细输出原始数据及其类别
r = pd.concat([data, pd.Series(model.labels_, index = data.index)], axis = 1)  #详细输出每个样本对应的类别
r.columns = list(data.columns) + [u'聚类类别'] #重命名表头
r.to_excel(outputfile) #保存结果


def density_plot(data): #自定义作图函数
  import matplotlib.pyplot as plt
  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
  p = data.plot(kind='kde', linewidth = 2, subplots = True, sharex = False)
  [p[i].set_ylabel(u'密度') for i in range(k)]
  plt.legend()
  return plt

pic_output = '../tmp/pd_' #概率密度图文件名前缀
for i in range(k):
  density_plot(data[r[u'聚类类别']==i]).savefig(u'%s%s.png' %(pic_output, i))

TSNE：聚类结果可视化工具

#-*- coding: utf-8 -*-
#接k_means.py
from sklearn.manifold import TSNE

tsne = TSNE()
tsne.fit_transform(data_zs) #进行数据降维
tsne = pd.DataFrame(tsne.embedding_, index = data_zs.index) #转换数据格式

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

#不同类别用不同颜色和样式绘图
d = tsne[r[u'聚类类别'] == 0]
plt.plot(d[0], d[1], 'r.')
d = tsne[r[u'聚类类别'] == 1]
plt.plot(d[0], d[1], 'go')
d = tsne[r[u'聚类类别'] == 2]
plt.plot(d[0], d[1], 'b*')
plt.show()