数据清洗实质上也是数据质量分析,检查并处理原数据中是否存在不符合要求的数据。常见的有缺失值、异常值、重复数据
一、缺失值
1、查看缺失值
# 返回是否是缺失值的布尔值
df.isna()
# 返回是否是缺失值的布尔值
df.isnull()
# 返回值是isnull的反集
df.notnull()
# 或者更直观的
df.isnull().sum()
而在数据中赋值为None也被当作NAN
2、过滤缺失值
dropna(axis=0,how=‘any’,subset=None,inplace=False)
# 默认 axis=0 删除行,只要有缺失就删除,取全局,不改变原数据
df.dropna()
# 设置删除含缺失值的列
df.dropna(axis=1)
# 设置只有所有值为NAN才删除行或列
df.dropna(how='all')
# 局部删除某行列中含有缺失值的行列
df.dropna(subset=['索引名'])
# 改变原数据
df.dropna(inplace=True)
3、填充缺失值
df.fillna(value=None,method=None,axis=None,inplace=False,limit=None)
# 直接传数字
df.fillna(2)
# 传入字典,根据行列名填充
df.fillna({"X":3.0,"Y":4.0})
# 使用前一个值填充,插值方法默认为ffill
df.fillna(method='ffill')
# 使用后一个值来填充
df.fillna(method='bfill')
# 设置用于向前或向后填充时最大的填充范围
df.fillna(limit=2)
# 用均值等统计指标填充
df.fillna(df.mean())
二、异常值
异常值替换
# 替换一个值
df.replace(to_replace=替换前的值,value=要替换的值)
# 替换多个值
df.replace(to_replace=[],value=[])
# 通过字典的方式
df.replace({前:后,前:后})
三、重复值
1、查看重复值
df.duplicated(subset=None, keep=‘first’)
# 默认保留首个出现的 keep='first'
df.duplicated()
# 设置保留最后出现的
df.duplicated(keep="last")
# 局部指定子列判断
df.duplicated(subset=[])
2、删除重复值
# 默认删除重复行
df.drop_duplicates()
# 设置删除最后出现的
df.drop_duplicates(keep="last")
# 局部指定子列删除
df.drop_duplicates(subset=[])
四、离散化
# 将连续数据离散化
pd.cut(data,[数据分组],labels=[各组标签])
# 统计每个区间的数值分布
pd.value_counts()
五、利用映射转换数据
如:将行索引全部大写
# map方法
f=lambda x:x.upper()
df.index.map(f)
# rename方法
df.rename(index=str.upper)