对数据预处理是进行数据分析的基础环节,数据预处理质量的高低往往能够对实验结果产生很大的影响,现在UCI上的人口调查收入数据集为例,演示如何使用python对该数据集进行预处理。该数据集中每个样本同时包含离散型特征和连续型特征。在进行预处理之前,将原数据集中的训练集部分和测试集部分合并,剔除了包含空值的样本后剩余45222个样本,将标签“>50K”记为1,“<=50K”记为0,并剔除了与抽样有关的特征fnlwgt。
相关文件的百度云下载地址为 链接:https://pan.baidu.com/s/18B7FB-oWETlcLmoF2Gg9vQ 密码:g4nd
从数据格式说明文件中我们可以知道数据集中每个字段的含义,我们可以看到:
- 每个样本中包含13个特征和1个标签,其中8个离散型特征、5个连续型特征;
- 8个离散型特征分别为:workclass、education、marital-status、occupation、relationship、race、sex、native-country;
- 5个连续型特征分别为:age、education-num、capital-gain、capital-loss、hours-per-week
使用sklearn.preprocessing模块,分别对样本中包含的离散型特征和连续型特征进行处理。
1 对

本文以UCI人口调查收入数据集为例,介绍如何使用Python进行数据预处理,包括合并训练集和测试集,处理空值,对离散型和连续型特征进行编码和标准化。离散型特征通过LabelEncoder数值化,再用OneHotEncoder进行独热编码;连续型特征使用MinMaxScaler进行标准化。处理后,离散型和连续型特征被整合到一起,以便后续分析。
最低0.47元/天 解锁文章
867

被折叠的 条评论
为什么被折叠?



