通过isnull我们发现某列有几个空值,要把该列空值所在行删除怎么操作?用dropna()会删除所有有空值的行,请看下面实例。
该函数主要用于滤除缺失数据。
如果是Series,则返回一个仅含非空数据和索引值的Series,默认丢弃含有缺失值的行。
xx.dropna()
对于DataFrame:
data.dropna(how = 'all') # 传入这个参数后将只丢弃全为缺失值的那些行
data.dropna(axis = 1) # 丢弃有缺失值的列(一般不会这么做,这样会删掉一个特征)
data.dropna(axis=1,how="all") # 丢弃全为缺失值的那些列
data.dropna(axis=0,subset = ["Age", "Sex"]) # 丢弃‘Age’和‘Sex’这两列中有缺失值的行
创建DataFrame样例数据
>>> import pandas as pd
>>> import numpy as np
>>> data = pd.DataFrame({'a': [1, 2, 4, np.nan,7, 9], 'b': ['a', 'b', np.nan, np.nan, 'd', 'e'], 'c': [np.nan, 0, 4, np.nan, np.nan, 5], 'd': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]})
>>> data
a b c d
0 1.0 a NaN NaN
1 2.0 b 0.0 NaN
2 4.0 NaN 4.0 NaN
3 NaN NaN NaN NaN
4 7.0 d NaN NaN
5 9.0 e 5.0 NaN
判断值value是否为NaN
>>> np.isnan(value) # return Ture or False #
>>> value is np.nan # return Ture or False #
删除NaN所在行
'''use dropna(axis=0,how='all')'''
>>> data.dropna(axis=0,how='all')
a b c d
0 1.0 a NaN NaN
1 2.0 b 0.0 NaN
2 4.0 NaN 4.0 NaN
4 7.0 d NaN NaN
5 9.0 e 5.0 NaN
删除表中含有任何NaN的行
'''use dropna(axis=0,how='any')'''
>>> data.dropna(axis=0,how='any')
Empty DataFrame
Columns: [a, b, c, d]
Index: []
删除表中全部为NaN的列
'''use dropna(axis=1, how='all')'''
>>> data.dropna(axis=1, how='all')
a b c
0 1.0 a NaN
1 2.0 b 0.0
2 4.0 NaN 4.0
3 NaN NaN NaN
4 7.0 d NaN
5 9.0 e 5.0
删除表中含有任何NaN的列
'''use dropna(axis=1, how='any')'''
>>> data.dropna(axis=1, how='any')
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3, 4, 5]
请看下面实例。