立即学习:https://edu.csdn.net/course/play/26990/361137?utm_source=blogtoedu
最后的总结
数据清洗步骤:
- 数据获取, 使用read_csv或者read_excel
- 数据探索, 使用shape, describe或者info函数
- 行列操作, 使用loc或者iloc函数
- 数据整合, 对不同数据源进行整理
- 数据类型转换, 对不同字段数据类型进行转换
- 分组汇总, 对数据进行各个维度的计算
- 处理重复值、缺失值和异常值以及数据离散化
常用函数:
- merge、concat 函数常常用于数据整合
- pd.to_datatime常常用于日期格式转换
- str函数用于字符串操作
- 函数astype 用于数据类型转换
- 函数apply 和 map 用于更加高级的数据处理
- Groupby用于创建分组对象
- 透视表函数pd.pivot_table和交叉表pd.crosstab
- 分组对象和agg 结合使用, 统计需要的信息
数据清洗内容:
- 选择子集
- 重命名列
- 缺失数据处理
- 数据类型转换
- 字符串的处理
- 时间日期的处理
- 数据排序
- 异常值处理
数据清洗之总结:
数据清洗实质上是将实际业务问题中, 脏数据清洗干净, 转换为‘干净的数据‘,所谓的脏,指以下几种问题(主要问题):