简单数据预处理

一、数据预处理概述

1.1数据预处理概念

从初始数据到得出数据分析或者数据挖掘结果的过程中对数据进行的一系列操作称为数据预处理。

1.2常见数据问题

数据缺失：指属性值为空的一类问题。

数据重复：指同一条数据多次出现的一类问题。

数据异常：指个别数据远离数据集的一类问题。

数据冗余：指数据存在一些多余的、无意义的属性。

数据值冲突：指同一属性存在不同值的一类问题。

数据噪声：指属性值不符合常规的一类问题。

1.3数据预处理流程

1.4常用的数据预处理库

NumPy、pandas、SciPy、scikit-learn

2.1用pandas对一组数据进行缺失值处理

2.1.1使用pandas的read_excel()函数从文件中读取数据

 

2.2.2用info()方法查看数据的摘要信息，代码如下：

2.2.3使用dropna()方法只删除“姓名”列中包含缺失值的一行数据，代码如下：

从输出结果可以看出，序号为4的一行数据被删除

2.2用pandas对一组数据进行重复值处理

2.2.1检测second_jijifenzi_count对象中的重复值

2.2.2删除second_jijifenzi_count对象中的重复值