python缺失数据处理_Python数据清洗--缺失值识别与处理

快动动手指！

前言

在《Python数据清洗--类型转换和冗余数据删除》中分享了有关数据类型转换和冗余信息删除的两个知识点，接下来继续讲解缺失值的识别和处理办法。缺失值指的是由于人为或机器等原因导致数据记录的丢失或隐瞒，缺失值的存在一定程度上会影响后续数据分析和挖掘的结果，所以对他的处理将显得尤为重要。

缺失值的识别

判断一个数据集是否存在缺失观测，通常从两个方面入手，一个是变量的角度，即判断每个变量中是否包含缺失值；另一个是数据行的角度，即判断每行数据中是否包含缺失值。关于缺失值的判断可以使用isnull方法。下面使用isnull方法对data3数据(数据可至中---下载)进行判断，统计输出的结果如下表所示。

# 判断各变量中是否存在缺失值

data3.isnull().any(axis = 0)

# 各变量中缺失值的数量

data3.isnull().sum(axis = 0)

# 各变量中缺失值的比例

data3.isnull().sum(axis = 0)/data3.shape[0]

如上结果所示，数据集data3中有三个变量存在缺失值，即gender、age和edu，它们的缺失数量分别为136、100和1,927，缺失比例分别为4.53%、3.33%和64.23%。

需要说明的是，判断数据是否为缺失值NaN，可以使用isnull“方法”，它会返回与原数据行列数相同的矩阵，并且矩阵的元素为bool类型的值，为了得到每一列的判断结果，仍然需要any“方法”(且设置“方法”内的axis参数为0)；统计各变量的缺失值个数可以在isnull的基础上使用sum“方法”(同样