三种方法实现数据离散化-python实现

最新推荐文章于 2025-02-24 08:04:10 发布

克莱默申克

最新推荐文章于 2025-02-24 08:04:10 发布

阅读量4.5k

点赞数 3

分类专栏：数据分析基础

本文链接：https://blog.csdn.net/weixin_45485072/article/details/115471890

版权

数据分析基础专栏收录该内容

10 篇文章

订阅专栏

本文介绍了如何使用Python进行数据离散化，包括等宽法、等频法以及K-means聚类。通过实例展示了等宽离散化、等频率离散化生成的分段，并展示了如何利用聚类算法对数据进行分组。三种方法的应用有助于数据预处理和可视化分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

#-*- coding: utf-8 -*-
#数据规范化
import pandas as pd

datafile = '../data/discretization_data.xls' #参数初始化
data = pd.read_excel(datafile) #读取数据
data = data[u'肝气郁结证型系数'].copy()
k = 4

d1 = pd.cut(data, k, labels = range(k)) 
#等宽离散化，各个类比可以命名为0,1,2,3

#等频率离散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles = w)[4:4+k+1] #使用describe函数自动计算分位数
w[0] = w[0]*(1-1e-10)#构造闭区间
d2 = pd.cut(data, w, labels = range(k))

from sklearn.cluster import KMeans #引入KMeans
kmodel = KMeans(n_clusters = k, n_jobs = 4) #建立模型，n_jobs是并行数，一般等于CPU数较好
kmodel.fit(data.reshape((len(data), 1))) #训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort(0) #输出聚类中心，并且排序（默认是随机序的）

#rolling_mean表示移动平均，即用当前值和前2个数值取平均数，相当于相邻两项求中点
#由于通过移动平均，会使得第一个数变为空值，因此需要使用.iloc[1:]过滤掉空值
w = pd.rolling_mean(c, 2).iloc[1:] #相邻两项求中点，作为边界点，但缺少首末边界点
w = [0] + list(w[0]) + [data.max()] #把首末边界点加上
d3 = pd.cut(data, w, labels = range(k))

def cluster_plot(d, k): #自定义作图函数来显示聚类结果
  import matplotlib.pyplot as plt
  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
  
  plt.figure(figsize = (8, 3))
  for j in range(0, k):
    plt.plot(data[d==j], [j for i in d[d==j]], 'o')
  
  plt.ylim(-0.5, k-0.5)
  return plt

cluster_plot(d1, k).show()

cluster_plot(d2, k).show()
cluster_plot(d3, k).show()