numpy除去nan值_pandas numpy处理缺失值，none与nan比较

原文链接：https://junjiecai.github.io/posts/2016/Oct/20/none_vs_nan/

建议从这里下载这篇文章对应的.ipynb文件和相关资源。这样你就能在Jupyter中边阅读，边测试文中的代码。

python原生的None和pandas, numpy中的numpy.NaN尽管在功能上都是用来标示空缺数据。但它们的行为在很多场景下确有一些相当大的差异。由于不熟悉这些差异，曾经给我的工作带来过不少麻烦。　特此整理了一份详细的实验，比较None和NaN在不同场景下的差异。

实验的结果有些在意料之内，有些则让我大跌眼镜。希望读者看过此文后会None和NaN这对“小妖精”有更深的理解。

为了理解本文的内容,希望本文的读者需要对pandas的Series使用有一定的经验。

首先，导入所需的库

from numpy import NaN

from pandas import Series, DataFrame

import numpy as np

数据类型?

None是一个python特殊的数据类型， 但是NaN却是用一个特殊的float

type(None)

NoneType

type(NaN)

float

能作为dict的key?

{None:1}

{None: 1}

{NaN:1}

{nan: 1}

{None:1, NaN:2}

{nan: 2, None: 1}

都可以，而且会被认为是不同的key

Series函数中的表现

Series.map

s = Series([None, NaN, 'a'])

s

0 None

1 NaN

2 a

dtype: object

s.map({None:1,'a':'a'})

0 1

1 1

2 a

dtype: object

可以看到None和NaN都会替换成了1

s.map({NaN:1,'a':'a'})

0 1

1 1

2 a

dtype: object

同样None和NaN都会替换成了1

s.map({NaN:2,'None':1,'a':'a'})

0 2

1 2

2 a

dtype: object

将None替换成1的要求被忽略了

s.map({'None':1,NaN:2,'a':'a'})

0 2

1 2

2 a

dtype: object

将NaN替换成1的要求被忽略了

总结: 用Series.map对None进行替换时,会“顺便”把NaN也一起替换掉；NaN也会顺便把None替换掉。

如果None和NaN分别定义了不同的映射数值，那么只有一个会生效。

Series.replace中的表现

s = Series([None, NaN, 'a'])

s

0 None

1 NaN

2 a

dtype: object

s.replace([NaN],9)

0 9

1 9

2 a

dtype: object

s.replace([None],9)

0 9

1 9

2 a

dtype: object

和Series.map的情况类似