pandas处理缺失数据

缺失数据（missing data)在大部分数据分析应用中很常见。Pandas可以让缺失数据的处理任务尽量轻松。pandas使用浮点值NaN (Not a Number)表示数组中的缺失数据。

1、简介

• Python内置的None值也会被当做NA处理。

• Series或DataFrame对象的isnull()方法可以筛选缺失值。

Series或DataFrame对象缺失值NA处理方法:

2、滤除缺失数据

过滤掉缺失数据的办法有很多种

2.1 Series对象的处理方法

对于一个Series，dropna返回一个仅含非空数据和索引值的新Series对象：

也可以通过布尔型索引达到这个目的:

2.2 DataFrame对象的处理方法

对于DataFrame对象，dropna默认丢弃任何含有缺失值的行，得到一个新DataFrame对象：

丢弃方法说明：

传入how=‘all’将只丢弃全为NA的那些行；要用这种方式丢弃列，只需传入axis=1即可

how='all'丢弃全为NA的行

3、填充缺失数据

若不想滤除缺失数据（有可能会丢弃跟它有关的其他数据），而是希望通过其他方式填补那些“空洞”。

对于大多数情况而言，fillna方法是最主要的方式。

参数说明：

3.1使用常数填充

通过一个常数调用fillna就会将缺失值替换为那个常数值：

3.2 使用字典填充

若是通过一个字典调用fillna，就可以实现对不同的列填充不同的值：

注1：对现有对象就地修改

fillna默认会返回新对象，但也可以对现有对象进行就地修改:

注2：对reindex有效的那些插值方法也可用于fillna

例：

df.fillna(method='ffill', limit=2)  # 向下填充，最多填充两个

注3：可利用fillna传入Series 的平均值或中位数