1 处理缺失数据
在pandas中,采用了R语言中的惯用法,即将缺失值表示为NA,它表示不可用not available;使用浮点值NaN(Not a Number) 表示缺失数据。
1.1滤除缺失数据
1)dropna方法
drona方法会丢弃任何含有缺失值的行,如果想丢弃全NA的行或列,传入how='all'参数。
传入thresh参数,来滤出含有n个NaN的行或者列
2)pandas.notnull、布尔索引
1.2填充缺失数据
fillna方法
注:method有两种方式,ffill是后面的缺失值填充前面出现的数值,bfill是前面的缺失值,填充后面出现的数值
2 数据转换
2.1移除重复数