python格点插值到离散点_【统计学】三种方法进行连续属性离散化处理

最近在读《python数据分析与挖掘实战（张良均等）》这本书，发现里面有很多很不错的数据分析方法，但是在重新敲代码的过程中，发现原书也有一些错误，不过正好让我重新熟悉了pandas和matplotlib以及numpy的操作。数据的预处理是数据分析过程中非常重要的一部分，具体结构如图所示：

前面两篇文章梳理了用箱线图标注异常值和用拉格朗日插值法进行空白值填充的方法：

zakki：箱线图异变标注​zhuanlan.zhihu.com

zakki：拉格朗日插值法的一种python实现方式​zhuanlan.zhihu.com

其实在数据清洗和预处理过程中，有时我们需要适当地对数据集进行变换。关于数据规范化，我们后面再说，本篇文章主要谈论对数据集的连续属进行离散化。

一、概念

某些分类算法，要求我们对连续性的属性进行分类处理，离散化的过程主要包括确定分类的个数，并将数据集映射到这些分类中，这里涉及三种分类方法：

1）等宽法

类似于制作频数分布图，将属性分布值分为几个等分的分布区间；

2）等频法

将相同数量的记录放入每个区间；

3）基于聚类的分析方法

将属性按照K-means算法进行聚类，然后根据聚类的分类，将同一聚类的记录合并到同一组内。

下面针对：肝气郁结证型系数数据集进行三种离散化的python实现，数据集下载地址：

https://github.com/zakkitao/database/blob/master/discretization_data.xls​github.com

二、代码实现

1）导入数据集以及各种需要的库

import pandas as pd
import matplotlib.pyplot as plt
data = 'chapter4/demo/data/discretization_data.xls'
data = pd.read_excel(data)
import numpy as np

2）等宽离散法

data = data[u'肝气郁结证型系数'].copy()  #将数据集转化为集合
k = 4    #k值为组数
d1 = pd.cut(data,k,labels=range(k))   #将集合分组

3）等频离散法

w = [i/k for i in range(k+1)] #计算百分比
w = data.describe(percentiles=w)[4:9]  #计算各个百分位数
d2 = pd.cut(data,w,labels=range(k))   #将集合分组

4）k-means分组

from sklearn.cluster import KMeans   #导入kmeans
kmodel = KMeans(n_clusters = k)      #确定族数
kmodel.fit(data.values.reshape(len(data),1))    #训练数据集
c = pd.DataFrame(np.sort(kmodel.cluster_centers_))   #确定中心并排序
w = c.rolling(2).mean().iloc[1:]      #取移动平均值
w = [0]+list(w[0])+[data.max()]       #加上最大最小值作为边界值
w = list(np.sort(w))          #再次排序
d3 = pd.cut(data,w,labels = range(k))

5）定义画图函数并生成图像

 def classified_plot(d):
    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False
    plt.figure(figsize=(7,5))
    for j in range(0, k):
        plt.plot(data[d==j], [i for i in d[d==j]], 'o')
classified_plot(d1)
classified_plot(d2)
classified_plot(d3)

如图：按照顺序排列的三图