pandas 空字符串与na区别_pandas中对nan空值的判断

pandas基于numpy，所以其中的空值nan和numpy.nan是等价的。numpy中的nan并不是空对象，其实际上是numpy.float64对象，所以我们不能误认为其是空对象，从而用bool(np.nan)去判断是否为空值，这是不对的。

一、怎么判断

对于pandas中的空值，我们该如何判断，并且有哪些我们容易掉进去的陷阱，即不能用怎么样的方式去判断呢？

1、可以判断pandas中单个空值对象的方式：

- 利用pd.isnull(),pd.isna();

- 利用np.isnan();

- 利用is表达式；

- 利用in表达式

- 使用math库的isnan函数

2、不可以用来判断pandas单个空值对象的方式：

- 不可直接用==表达式判断；

- 不可直接用bool表达式判断；

- 不可直接用if语句判断。

3、对于同时多个空值对象的判断和处理：

- 可以用Series对象和DataFrame对象的any()或all()方法；

- 可以用numpy的any()或all()方法；

- 不可以直接用python的内置函数any()和all()方法；

- 可以用Series或DataFrame对象的dropna()方法剔除空值；

- 可以用Series或DataFrame对象的fillna()方法填充空值。

二、示例：

>>> import pandas as pd

>>> import numpy as np

>>> from math import isnan

>>> na=np.nan

>>> # 可以用来判断空值的方式

...

>>> pd.isnull(na)

True

>>> pd.isna(na)

True

>>> np.isnan(na)

True

>>> na is np.nan

True

>>> na in [np.nan]

True

>>> isnan(na)

True

>>> # 可以用来判断非空的方式

>>> pd.notnull(na)

False

>>> pd.notna(na)

False

>>> ~np.isnan(na) # 这种小数据量可以，大数据量就报错https://itdiandi.net/view/2874

False

>>> # 不可以直接用来判断的方式，即以下结果和我们预期不一样

...

>>> na == np.nan

False

>>> bool(na)

True

>>> if na:

... print('na is not null')

...

na is not null

>>> # 不可以直接用python内置函数any和all

...

>>> any([na])

True

>>> all(

Querying for NaN and other names in Pandas

In general, you could use @local_variable_name, so something like

>>> pi = np.pi; nan = np.nan

>>> df = pd.DataFrame({"value": [3,4,9,10,11,np.nan,12]})

>>> df.query("(value < 10) and (value > @pi)")

value

1      4

2      9

would work, but nan isn't equal to itself, so value == NaN will always be false. One way to hack around this is to use that fact, and use value != value as an isnan check. We have

>>> df.query("(value < 10) or (value == @nan)")

value

0      3

1      4

2      9

According to this answer you can use:

df.query('value < 10 | value.isnull()', engine='python')

import pandas as pd

import numpy as np

df = pd.DataFrame({'value': [3, 4, 9, 10, 11, np.nan, 12]})

available = df.query("value.notna()")

print(available)

9

You can use the isna and notna Series methods, which is concise and readable.

import pandas as pd

import numpy as np

df = pd.DataFrame({'value': [3, 4, 9, 10, 11, np.nan, 12]})

available = df.query("value.notna()")

print(available)

#    value

# 0    3.0

# 1    4.0

# 2    9.0

# 3   10.0

# 4   11.0

# 6   12.0

not_available = df.query("value.isna()")

print(not_available)

#    value

# 5    NaN

Alternatively, you can use the toplevel pd.isna function, by referencing it as a local variable.

import pandas as pd

import numpy as np

df = pd.DataFrame({'value': [3, 4, 9, 10, 11, np.nan, 12]})

df.query("@pd.isna(value)")

#    value

# 5    NaN

https://stackoverflow.com/questions/26535563/querying-for-nan-and-other-names-in-pandas

三、总结

numpy.nan是一个numpy.float64的非空对象，所以不能直接用bool表达式去判断，故一切依赖于布尔表达式的判断方式都不行，比如if语句。对于pandas中空值的判断，我们只能通过pandas或者numpy的函数和is表达式去判断，不能用python的内置函数any或all判断。

比较奇怪的一点是pandas中空值的判断可以用is表达式判断，但是不能用==表达式判断。我们知道，对于is表达式，如果返回True，表示这两个引用指向的是同一个内存对象，即内存地址是一样的，一般同一个对象的不同引用的值也应该是相等的，所以一般is表达式为True，那么==表达式也为True。但是对于numpy.nan对象显然不是这样的，因为其可以用is表达式判断，即当is表达式为True时，但==表达式为False，这说明虽然不同numpy.nan变量引用指向的是同一个内存地址，但是其具有自己的值属性，值是不一样的，所以不能用==来判断，这点需要注意。