数据清洗

定义

数据清洗：把“脏数据”变为“干净数据”。
脏数据：残缺数据、错误数据、重复数据、不符合规则的数据、…

数据清洗的流程

1. 数据读写
   常用方法：pd.read_csv("文件路径")，pd.read_excel("文件路径")
2. 数据探索与描述
   常用方法：df.info()，df.describe()
3. 数据简单处理
   常用方法：去除数据间的空格，英文字母的大小写转换
4. 重复值处理
   常用方法：duplicated()，drop_duplicates()
5. 缺失值处理
   常用方法：删除缺失值、均值填补法、向前/向后填充、模型填补法
6. 异常值处理
   常用方法：删除异常值、作为缺失值处理、平均值修正、盖帽法修正、不修正（发掘业务价值）
7. 文本字符串处理
   常用方法：去除前后空格、处理中间有括号、逗号等的数据、正则表达式提取数据
8. 时间序列处理
   常用方法：系统时间格式化、系统时间与时间戳相互转换、年月日提取