在许多数据分析⼯作中,缺失数据是经常发⽣的。
pandas
的⽬
标之⼀就是尽量轻松地处理缺失数据。例如,
pandas
对象的所
有描述性统计默认都不包括缺失数据。
缺失数据在
pandas
中呈现的⽅式有些不完美,但对于⼤多数⽤
户可以保证功能正常。对于数值数据,
pandas
使⽤浮点值
NaN
(
Not a Number
)表示缺失数据。我们称其为哨兵值,可以
⽅便的检测出来:
import pandas as pd import numpy as np string_data = pd.Series(['aardvark', 'artichoke',np.nan, 'avocado']) print(string_data)
print(string_data.isnull())#用isnull来判断是否为空
OUT:
0 False
1 False
2 True
3 False
dtype: bool
在
pandas
中,我们采⽤了
R
语⾔中的惯⽤法,即将缺失值表示为
NA
,它表示不可⽤
not available
。在统计应⽤中,
NA
数据可能
是不存在的数据或者虽然存在,但是没有观察到(例如,数据采
集中发⽣了问题)。当进⾏数据清洗以进⾏分析时,最好直接对
缺失数据进⾏分析,以判断数据采集的问题或缺失数据可能导致
的偏差。
Python
内置的
None
值在对象数组中也可以作为
NA
:
string_data[0] = None
print( string_data ) print(string_data.isnull())
0 None
1 artichoke
2 NaN
3 avocado
dtype: object
0 True
1 False
2 True
3 False
dtype: bool
pandas
项⽬中还在不断优化内部细节以更好处理缺失数据,像
⽤户
API
功能,例如
pandas.isnull
,去除了许多恼⼈的细节。表
7-1
列出了⼀些关于缺失数据处理的函数。
![](https://img-blog.csdnimg.cn/direct/1b392e90afbf41ed93b01936a3f8ca88.png)
滤除缺失数据
过滤掉缺失数据的办法有很多种。你可以通过
pandas.isnull
或布
尔索引的⼿⼯⽅法,但
dropna
可能会更实⽤⼀些。对于⼀个
Series
,
dropna
返回⼀个仅含⾮空数据和索引值的
Series
:
from numpy import nan as NA data = pd.Series([1,NA, 3.5,NA,7]) datas = data.dropna() print(datas)
data.dropna() 等价于data[data.notnull()]
⽽对于
DataFrame
对象,事情就有点复杂了。你可能希望丢弃全
NA
或含有
NA
的⾏或列。
dropna
默认丢弃任何含有缺失值的⾏:
原数据:
![](https://img-blog.csdnimg.cn/direct/440dbb7e3b18432fa3f894dc6761d64d.png)
import pandas as pd from numpy import nan as NA data = pd.DataFrame([[1.,6.5,3.0],[1.0,NA,NA],[NA,NA,NA],[NA,6.5,3.]]) cleaned = data.dropna() print(cleaned)
out:
传⼊
how='all'
将只丢弃值全为
NA
的那些⾏:
data1=data.dropna(how='all') print(data1)
out:
⽤这种⽅式丢弃列,只需传⼊
axis=1
即可:
data2=data.dropna(axis=1, how='all') print(data2)
另⼀个滤除
DataFrame
⾏的问题涉及时间序列数据。假设你只想
留下⼀部分观测数据,可以⽤
thresh
参数实现此⽬的:
df = pd.DataFrame(np.random.randn(7, 3)) df.iloc[:4,1] = NA df.iloc[:2,2]=NA print(df)
df.dropna(thresh=2)
Out[32]:
0 1 2
2 0.092908 NaN 0.769023
3 1.246435 NaN -1.296221
4 0.274992 0.228913 1.352917
5 0.886429 -2.001637 -0.371843
6 1.669025 -0.438570 -0.539741