![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python数据清洗实战
zyc53
随遇随记。
展开
-
总结(清洗意义/步骤/函数)——Python数据清洗实战笔记(8)
总结一、为什么数据清洗?二、数据清洗步骤三、函数大全四、数据清洗内容一、为什么数据清洗?数据清洗实质上是将实际业务问题中,脏数据清洗干净,转换为‘干净的数据’,所谓的脏,指数据可能存在以下几种问题(主要问题):1.数据缺失(Incomplete):属性值为空;2.数据噪声(Nosiy):数据值不合乎常理;3.数据不一致(Inconsistent):前后存在矛盾;4.数据冗余(Redun...原创 2020-03-25 23:10:19 · 968 阅读 · 0 评论 -
数据预处理(重复值/异常值/数据离散化)——Python数据清洗实战笔记(7)
数据预处理1.重复值处理·对价格和里程数数据进行处理2.缺失值处理3.异常值处理4.数据离散化导库,读取数据import numpy as npimport pandas as pddf = pd.read_csv('../data/MotorcycleData.csv',encoding='gbk',na_values='Na')1.重复值处理·对价格和里程数数据进行处理自定义函数...原创 2020-03-25 23:04:28 · 1986 阅读 · 1 评论 -
数据统计(分组groupby/聚合函数agg/apply/透视表与交叉表)——Python数据清洗实战笔记(6)
数据统计1.数据分组运算2.聚合函数使用3. 分组对象于apply函数4.透视表与交叉表1.数据分组运算df.groupby(‘a’)df.groupby(by=[‘a’,‘b’])df[[‘a’,‘b’,‘c’]].groupby(‘a’)df[[‘a’,‘b’,‘c’]].groupby(by=[‘a’,‘b’])使用单个分组变量使用groupby方法import pand...原创 2020-03-25 22:57:55 · 1121 阅读 · 0 评论 -
数据日期/字符串/高级函数转换处理——Python数据清洗实战笔记(5)
数据转换数据转换1.日期格式数据处理2. 字符串数据处理3.高级函数数据处理**知识点细致延伸**1.pd.read_csv()数据转换1.日期格式数据处理import numpy as npimport pandas as pd#encoding:指定字符集类型;dtype:每列数据的数据类型。df = pd.read_csv('../data/baby_trade_history....原创 2020-03-25 22:54:42 · 566 阅读 · 0 评论 -
数据表(筛选、增删改查、整理、层次化索引)处理——Python数据清洗实战笔记(4)
数据表处理1.数据筛选方法2.数据增加和删除3. 数据修改和查找4.数据整理5.层次化索引1.数据筛选方法import pandas as pdimport numpy as npdf = pd.read_csv('../data/baby_trade_history.csv',encoding='utf-8',dtype={'user_id':str})查看数据df.info()...原创 2020-03-25 22:52:05 · 449 阅读 · 0 评论 -
Csv/Excel/mysql文件读写操作——Python数据清洗实战笔记(3)
文件读写操作文件操作1.csv读写2.excel文件读写3.数据库文件读写文件操作1.csv读写import pandas as pdimport numpy as np#设置最大显示列数pd.set_option('display.max_columns',20)#设置最大显示行数pd.set_option('display.max_rows',100)#婴儿信息表;默认将...原创 2020-03-25 22:48:30 · 379 阅读 · 0 评论 -
NumpyPandas常用数据结构——Python数据清洗实战笔记(2)
常用工具NumpyPandas常用数据结构Numpy常用数据结构1.数组组建2.数组方法3.访问4.Numpy常用数据清洗函数Pandas常用数据结构Series序列series方法DataframeDataframe方法NumpyPandas常用数据结构Numpy常用数据结构1.数组组建import numpy as nparr1 = np.array([-9,8,7,23])arr...原创 2020-03-25 22:46:00 · 330 阅读 · 0 评论 -
Python数据清洗实战笔记——导论(1)
昨日发现自己在csdn学院报了一个Python数据清洗实战的课程,自己先是听课程,后来老是纠结…这课件在哪里哇…等学完了,发现,找到了,故此,自己就对着代码敲,无意发现了一个学习方法,接下来,我会系统的把课程内容做下个人整理,按照系列发布,希望大家都有所收获。流程:1.发布地区:csdn博客,github网站(如果您需要实战,可以在那里下载数据以及代码)2.博客内容流程:目录:便于对整...原创 2020-03-25 17:30:05 · 493 阅读 · 0 评论