对数据预处理是进行数据分析的基础环节,数据预处理质量的高低往往能够对实验结果产生很大的影响,现在UCI上的人口调查收入数据集为例,演示如何使用python对该数据集进行预处理。该数据集中每个样本同时包含离散型特征和连续型特征。在进行预处理之前,将原数据集中的训练集部分和测试集部分合并,剔除了包含空值的样本后剩余45222个样本,将标签“>50K”记为1,“<=50K”记为0,并剔除了与抽样有关的特征fnlwgt。
相关文件的百度云下载地址为 链接:https://pan.baidu.com/s/18B7FB-oWETlcLmoF2Gg9vQ 密码:g4nd
从数据格式说明文件中我们可以知道数据集中每个字段的含义,我们可以看到:
- 每个样本中包含13个特征和1个标签,其中8个离散型特征、5个连续型特征;
- 8个离散型特征分别为:workclass、education、marital-status、occupation、relationship、race、sex、native-country;
- 5个连续型特征分别为:age、education-num、capital-gain、capital-loss、hours-per-week
使用sklearn.preprocessing模块,分别对样本中包含的离散型特征和连续型特征进行处理。
1 对连续型特征进行预处理
对连续型特征进行预处理,即对连续型特