Python学习 | 数据清洗和准备

1 处理缺失数据

在pandas中，采用了R语言中的惯用法，即将缺失值表示为NA，它表示不可用not available；使用浮点值NaN（Not a Number） 表示缺失数据。
1.1滤除缺失数据

1）dropna方法

drona方法会丢弃任何含有缺失值的行，如果想丢弃全NA的行或列，传入how='all'参数。

传入thresh参数，来滤出含有n个NaN的行或者列

2）pandas.notnull、布尔索引

1.2填充缺失数据
fillna方法

注：method有两种方式，ffill是后面的缺失值填充前面出现的数值，bfill是前面的缺失值，填充后面出现的数值

2 数据转换

2.1移除重复数