python数据清洗实战入门笔记（七）总结

数据清洗步骤

1. 数据获取,使用read_csv或者read_excel
2. 数据探索,使用shape,describe或者info函数
3. 行列操作，使用loc或者iloc函数
4. 数据整合,对不同数据源进行整理
5. 数据类型转换，对不同字段数据类型进行转换
6. 分组汇总，对数据进行各个维度的计算
7. 处理重复值、缺失值和异常值以及数据离散化

函数大全

1. merge,concat函数常常用于数据整合
2. pd.to_datetime常常用于日期格式转换
3. str函数用于字符串操作
4. 函数astype用于数据类型转换
5. 函数apply和map用于更加高级的数据处理
6. Groupby用于创建分组对象
7. 透视表函数pd.pivot_table和交叉表pd.crosstab
8. 分组对象和agg结合使用，统计需要的信息

数据清洗的内容

数据清洗总结

数据清洗实质上是将实际业务问题中，脏数据清洗干净,转换为’干净的数据’, 所谓的脏
，指数据可能存在以下几种问题（主要问题）:

1. 数据缺失 （Incomplete） 是属性值为空的情况。如 Occupancy = “ ”
2. 数据噪声 （Noisy）是数据值不合常理的情况。如 Salary = “-100”
3. 数据不一致 （Inconsistent）是数据前后存在矛盾的情况。如 Age = “042” 或者
   Birthday = “01/09/1985”
4. 数据冗余 （Redundant）是数据量或者属性数目超出数据分析需要的情况
5. 离群点/异常值 （Outliers）是偏离大部分值的数据
6. 数据重复是在数据集中出现多次的数据