pandas缺失值处理

（1）如果想将inf或-inf当成NaN，可以通过以下设置

pandas.options.mode.use_inf_as_na = True

（2）NaN是个浮点数，如果某一特征的取值为整数，而且又含有NaN,如果想让NaN表示整形,则需要显示的指定数据类型

pandas 0.24以上版本

pd.Series([1, 2, np.nan, 4], dtype=“Int64”) # 将数据类型设为Int64,如果不指定，则报以下错误
# cannot convert float NaN to integer

（3）缺失值填充

• 使用标量进行填充

df.fillna(0) # 对所有nan以0填充
df["col"].fillna(0) # 对col这一列的nan用0进行填充

• 前向填充

df.fillna(method="pad", limit=2) # 前向填充，填充数量为2
常用的填充方法：
pad/ffill : 前向填充
bfill/backfill : 后向填充

df
Out[47]: 
   one       two     three
a  NaN -0.282863 -1.509059
c  NaN  1.212112 -0.173215
e  NaN       NaN       NaN
f  NaN       NaN       NaN
h  NaN -0.706771 -1.039575

In [48]: df.fillna(method='pad', limit=1)
Out[48]: 
   one       two     three
a  NaN -0.282863 -1.509059
c  NaN  1.212112 -0.173215
e  NaN  1.212112 -0.173215
f  NaN       NaN       NaN
h  NaN -0.706771 -1.039575

对df的某一列的某一段区间进行填充

d1 = pd.DataFrame({"a":[1, np.nan, 3, 4, 5, np.nan], "b":[3,4,5,6,7,8]})
#    a  b
0  1.0  3
1  NaN  4
2  3.0  5
3  4.0  6
4  5.0  7
5  NaN  8
d1["a"].fillna(method="ffill", limit=1, inplace=True) # inplace原地填充
# d1[["a"]].fillna(method="ffill", limit=1, inplace=True) # 这种方式不对
d1["a"].iloc[0:3].fillna(method="ffill", inplace=True) # 对a这一列的某段区间进行原地填充, 注意如果区间只含有一个元素使用d1["a"].iloc[i:i+1],
# d1["a"].iloc[i]返回的是一个数，而不是Series对象
# df["a"].iloc[0:3, :] #错误， Series没有第二维
# df[["a"]].iloc[0:3] 的结果与df[["a]].iloc[0:3, :]的结果一致

使用df的一列填充另一列

df["Cat1"].fillna(df["Cat2"]) # 要保证df["Cat1"]与df["Cat2"]的索引一致

结果为：

• Interpolation
  Series和DataFrame对象都有interpolate()方法。

df.interpolate(method="linear"， limit=1, limit_direction='backward') # 默认为线性插值
# limit_direction: backward, 默认forward, both：双向填充
# method可以的取值（可以是scipy中任意的一维插值方法）
 - linear
 - nearest
 - zero, 0阶样条插值
 - slinear, 一阶样条插值
 - quadratic，二阶样条插值
 - cubic，三界样条插值
 - previous，用NaN的前一个数插值
 - next，用NaN的后一个数插值

• df.replace(src, target)
  将df中的src替换成target, df.replace({src1:tar1, src2: tar2,…})

（4）小知识点

1.找出df中全为空的行

df.loc[df.isnull().all(axis=1)]

2.找出df中含有缺失值的行

df.loc[df.isnull().any(axis=1)]