【数据预处理】离散化，等频划分

最新推荐文章于 2023-03-22 17:47:53 发布

TKE_aoliao

最新推荐文章于 2023-03-22 17:47:53 发布

阅读量3.4k

点赞数 1

文章标签：大数据数据挖掘

本文链接：https://blog.csdn.net/surijing/article/details/105457073

版权

本文介绍了数据预处理中的离散化技术，通过分析数据列的最大值、最小值、中位数、平均数及四分位数，对col5列进行划分。首先，将col5中值小于等于100的归为A类，小于等于1000的归为B类，大于1000的归为C类。接着，进一步采用等频划分方法精细处理col5数据，确保类别间的数据分布均匀。

摘要由CSDN通过智能技术生成

数据样例

在这里插入图片描述
1.统计出每列数据中的最大值，最小值，中位数，平均数以及四分位数
2.定义一个函数，对col5列信息离散化，小于等于100的为A类，小于等于1000的为B类，大于1000的为C类
3.定义一个函数，对col5列进行等频划分

import xlrd
import pandas as pd
import numpy as np
#样例数据所在位置
file_name='F:\\hcie1.xlsx'
#通过xlrd的open_workbood方法打开工作表
file=xlrd.open_workbook(file_name)
#以索引的方式获取
sheet=file.sheet_by_index(0)
#获取行列的有效行数，列数
rows=sheet.nrows
cols=sheet.ncols
#print(rows)
#定义两个空的列表和字典，后期追加
data=[]
c={
   }
#格式化data列表
for i in range(0