数据预处理（考试版1）

数据预处理的主要任务
数据清理
填充缺失值，识别/去除离群点，光滑噪音，并纠正数据中的不一致
数据集成
多个数据库，数据立方体或文件的集成
数据归约
得到数据的归约表示，它小得多，但产生相同或类似的分析结果：维度规约、数值规约、数据压缩

Pandas缺失值处理
删除
pandas中None与np.nan都视作np.nan，在pandas中，None和np.nan统一处理成NaN，类型为float型，可用于计算且运算结果扔为NaN。
pandas处理空值操作
isnull()如果为NaN就返回True，否则返回False
notnull()如果为NaN就返回False，否则返回True
dropna(): 过滤丢失数据(NaN)
fillna(): 填充丢失数据(NaN)Pandas缺失值处理
isnull().sum(),返回NaN的数目

填充

df.fillnull(),参数同上，这里略
df.drop_duplicates（）删除相同行