总结(清洗意义/步骤/函数)——Python数据清洗实战笔记(8)

一、为什么数据清洗?

数据清洗实质上是将实际业务问题中,脏数据清洗干净,转换为‘干净的数据’,所谓的脏,指数据可能存在以下几种问题(主要问题):

1.数据缺失(Incomplete):属性值为空;

2.数据噪声(Nosiy):数据值不合乎常理;

3.数据不一致(Inconsistent):前后存在矛盾;

4.数据冗余(Redundant):数据量或者数据数目超出数据分析需要的情况;

5.离群点/异常值(Outliers):偏离大部分值

6.数据重复:出现多次的数据;

二、数据清洗步骤

1.数据获取,使用read_csv或者read_excel;

2.数据探索,使用shape,describe或者info函数;

3.行列操作,使用loc或者iloc函数;

4.数据整合,对不同数据源进行整理;

5.数据类型转换,对不同字段数据类型进行转换;

6.分组汇总,对数据进行各个维度的计算;

7.处理重复值、缺失值和异常值以及数据离散化;

三、函数大全

1.数据整合:mearge,concat;

2.日期格式转换:pd.to_datetime;

3.字符串操作:str函数;

4.数据类型转换:astype;

5.高级数据处理:apply和map;

6.创建分组对象:Groupby;

7.透视表:pd.pivot_table;交叉表:pd.crosstab;

8.分组对象和agg结合使用,统计需要的信息

四、数据清洗内容

1.选择子集;

2.重命名列;

3.缺失数据处理;

4.数据类型的转换;

5.字符串的处理;

6.时间日期的处理;

7.数据排序;

8.异常值处理

其它内容学习

发布了84 篇原创文章 · 获赞 26 · 访问量 3834
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览