机器学习之数据离散化处理

• 机器学习之数据离散化处理

# -*- coding: utf-8 -*-
"""
Created on Sat Dec 22 20:46:09 2018
数据规范化
@author: muli
"""

import numpy as np
import pandas as pd

#参数初始化
datafile = './data/discretization_data.xls' 
#读取数据
data = pd.read_excel(datafile) 
data = data[u'肝气郁结证型系数'].copy()
k = 4

#等宽离散化，各个类比依次命名为0,1,2,3
d1 = pd.cut(data, k, labels = range(k)) 

#等频率离散化
w = [1.0*i/k for i in range(k+1)]
#使用describe函数自动计算分位数
w = data.describe(percentiles = w)[4:4+k+1] 
w[0] = w[0]*(1-1e-10)
d2 = pd.cut(data, w, labels = range(k))

from sklearn.cluster import KMeans #引入KMeans
kmodel = KMeans(n_clusters = k) #建立模型，n_jobs是并行数，一般等于CPU数较好
kmodel.fit(data.values.reshape((len(data), 1))) #训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)#输出聚类中心，并且排序（默认是随机序的）
print(np.shape(c))
print("-------------")
print(c)
w = pd.rolling_mean(c, 2).iloc[1:] #相邻两项求中点，作为边界点
w = [0] + list(w[0]) + [data.max()] #把首末边界点加上
print("*****************")
print(w)
d3 = pd.cut(data, w, labels = range(k))


#自定义作图函数来显示聚类结果
def cluster_plot(d, k): 
  import matplotlib.pyplot as plt
  #用来正常显示中文标签
  plt.rcParams['font.sans-serif'] = ['SimHei'] 
  #用来正常显示负号
  plt.rcParams['axes.unicode_minus'] = False 
  
  plt.figure(figsize = (8, 3))
  for j in range(0, k):
    plt.plot(data[d==j], [j for i in d[d==j]], 'o')
  
  plt.ylim(-0.5, k-0.5)
  return plt

# 绘图
cluster_plot(d1, k).show()
cluster_plot(d2, k).show()
cluster_plot(d3, k).show()