【学习笔记】Pandas缺失值处理

主要方法

#发现缺失值
isnull()	#使用布尔类型掩码True/False标记缺失值
notnull()	#与isnull相反，缺失项为False
#处理缺失值	
dropna()	#删除缺失值
fillna()	#补全缺失值

发现缺失值

即可单独返回一个缺失值布尔类型掩码表，也可作为索引使用

import numpy as np
import pandas as pd

data=pd.Series([0,1,np.nan,3,None])
print(data.isnull())
print(data.notnull())

'''
运行结果
0    False
1    False
2     True
3    False
4     True
dtype: bool
0     True
1     True
2    False
3     True
4    False
dtype: bool
'''

处理缺失值

dropna()

在默认情况下data=data.dropna()删除缺失值整行

可定义参数：
axis：默认axis=0（axis=‘row’），行操作；可设为axis=1或axis=‘columns’对列进行操作

how：默认how=‘any’，有一个元素缺失则删除整行或整列；how=‘all’只在一行或一列元素全缺失时才删除

thresh：可以进一步用thresh指定行或列中非缺失值的最小个数。例如设置thresh=3时，保留非缺失值大于等于3个的行或列

fillna()

data=data.fillna(0)使用0填充缺失值

可定义参数：
axis：同dropna()

method：method='ffill’意为，用缺失值前面的有效值进行填充；method='bfil’l意为，用缺失值后面的有效值进行填充