总结(清洗意义/步骤/函数)——Python数据清洗实战笔记(8)

一、为什么数据清洗？

数据清洗实质上是将实际业务问题中，脏数据清洗干净，转换为‘干净的数据’，所谓的脏，指数据可能存在以下几种问题(主要问题)：

1.数据缺失(Incomplete)：属性值为空；

2.数据噪声(Nosiy)：数据值不合乎常理；

3.数据不一致(Inconsistent)：前后存在矛盾；

4.数据冗余(Redundant)：数据量或者数据数目超出数据分析需要的情况；

5.离群点/异常值(Outliers):偏离大部分值

6.数据重复：出现多次的数据；

二、数据清洗步骤

1.数据获取，使用read_csv或者read_excel;

2.数据探索，使用shape，describe或者info函数；

3.行列操作，使用loc或者iloc函数；

4.数据整合，对不同数据源进行整理；

5.数据类型转换，对不同字段数据类型进行转换；

6.分组汇总，对数据进行各个维度的计算；

7.处理重复值、缺失值和异常值以及数据离散化；

三、函数大全

1.数据整合：mearge，concat；

2.日期格式转换：pd.to_datetime;

3.字符串操作：str函数；

4.数据类型转换：astype；<