python-数据分析（10-数据清洗）

Pandas

10 Pandas之数据清洗

10.1Pandas数据清洗

数据清洗介绍
数据清洗实际上也是数据质量分析，检查原始数据中是否存在脏数据(不符合要求，或者不能直接进行分析的数据)，并且处理脏数据。
常见情况如下

• 缺失值
• 异常值
• 重复数据

处理缺失值
Pandas使用浮点值NaN(not a Number)表示缺失值，并且缺失值在数据中时常出现。那么Pandas的目的之一就是"无痛地"处理缺失值。

 
 
 
判断数据是否为NaN

• pd.isnull(df) 返回哪些值是缺失值的布尔值
• pd.notnull(df) 返回值是isnull的反集

注意

• Python内建的None值也被当作NaN
   
   
   

过滤缺失值

• dropna(axis=0,how=‘any’,inplace=False)
• axis             指定轴 默认为0 代表行
• how             默认为any 代表删除含有NaN的行 当为all 时代表删除所有值为NaN的行
• inplace        修改被调用的对象 而不是一个备份

 
 
 

 
 
 

补全缺失值(NaN)

• df.fillna(value=None,method=None,axis=None,inplace=False,limit=None)
• value 标量或字典对象用于填充缺失值
• method 插值方法 默认为"ffill"
• axis 需填充的轴 默认为0
• inplace 修改被调用的对象 而不是一个备份
• limit 用于向前或向后填充时最大的填充范围
  

 
 
 

异常值