python数据清洗
文章平均质量分 80
魔仙大佬
这个作者很懒,什么都没留下…
展开
-
pandas预处理案例——数据分析师招聘数据清洗实战
数据分析师招聘数据清洗实战数据导入并查看重复数据处理异常值处理缺失值处理数据是数据分析师的招聘薪资,主要内容是进行数据读取,数据概述,数据清洗和整理数据获取:链接:https://pan.baidu.com/s/1sSmyiUfkDtVHuJEQP56h3w提取码:okic数据导入并查看首先载入的数据在pandas中,常用的载入函数是read_csv。除此之外还有read_excel和read_table,table可以读取txt。若是服务器相关的部署,则还会用到read_sql,直接访问数据库,原创 2020-06-18 12:41:31 · 2182 阅读 · 0 评论 -
python数据清洗实战入门笔记(七)总结
数据清洗总结数据清洗步骤函数大全数据清洗的内容数据清洗总结数据清洗步骤数据获取,使用read_csv或者read_excel数据探索,使用shape,describe或者info函数行列操作,使用loc或者iloc函数数据整合,对不同数据源进行整理数据类型转换,对不同字段数据类型进行转换分组汇总,对数据进行各个维度的计算处理重复值、缺失值和异常值以及数据离散化函数大全merge,concat函数常常用于数据整合pd.to_datetime常常用于日期格式转换str函数用于字符串原创 2020-05-18 07:49:45 · 621 阅读 · 0 评论 -
python数据清洗实战入门笔记(六)数据预处理
数据清洗之数据预处理1 重复值处理练习2 缺失值处理练习3 异常值处理练习4 数据离散化练习数据集地址:https://pan.baidu.com/s/1kMH1AhE8RUyaT73rvJsVPQ提取码:aai6数据集介绍:摩托车的销售情况数据Condition:摩托车新旧情况(new:新的 和used:使用过的)Condition_Desc:对当前状况的描述Price:价格Location:发获地址Model_Year:购买年份Mileage:里程Exterior_Color:车的原创 2020-05-18 07:44:34 · 750 阅读 · 0 评论 -
python数据清洗实战入门笔记(五)数据统计
数据清洗之数据统计数据分组方法练习1.1在线杂货店订单数据1.2 数据分组运算聚合函数使用练习分组对象与apply函数练习透视图与交叉表练习数据集地址:https://pan.baidu.com/s/1kMH1AhE8RUyaT73rvJsVPQ提取码:aai6数据分组方法• 使用groupby方法进行分组计算,得到分组对象GroupBy• 语法为df.groupby(by=)• 分组对象GroupBy可以运用描述性统计方法, 如count、mean 、 median、 max和min等原创 2020-05-17 20:32:17 · 855 阅读 · 0 评论 -
python数据清洗实战入门笔记(四)数据转换
数据清洗之数据转换日期数据格式处理练习字符串数据处理练习高阶函数数据处理练习数据集地址:https://pan.baidu.com/s/1kMH1AhE8RUyaT73rvJsVPQ提取码:aai6日期数据格式处理练习import numpy as npimport pandas as pdimport osos.chdir(r'G:\pythonProject\pc\Python数据清洗\data')df = pd.read_csv('baby_trade_history.csv',原创 2020-05-16 11:34:13 · 639 阅读 · 1 评论 -
python数据清洗实战入门笔记(三)表处理
数据清洗之数据表处理数据筛选练习数据增加和删除练习数据的修改和查找练习数据整理练习层次化索引练习数据筛选练习import pandas as pdimport numpy as npimport os# 更改文件路劲os.chdir(r'G:\pythonProject\pc\Python数据清洗\data')df = pd.read_csv('baby_trade_history.csv', encoding='utf-8',dtype={'user_id':str})#数据筛选#原创 2020-05-15 21:19:43 · 604 阅读 · 0 评论 -
python数据清洗实战入门笔记(二)文件操作
第二章:数据清洗之文件读取csv文件读写excel文件读写数据库文件读写这是一个关于淘宝母婴产品的用户消费行为的数据集,然后基于这个数据集,做数据清洗数据集地址:https://pan.baidu.com/s/1kMH1AhE8RUyaT73rvJsVPQ提取码:aai6csv文件读写import pandas as pdimport numpy as npimport os# 更改文件路劲os.chdir(r'G:\pythonProject\pc\Python数据清洗\data')原创 2020-05-12 20:22:43 · 501 阅读 · 0 评论 -
python数据清洗实战入门笔记(一)numpy和pandas
第一章:数据清洗常用工具1.numpy常用数据结构常用清洗工具:numpy常用数据结构:Numpy常用方法数组访问方法练习(jupyter)代码下面是结果2.Numpy常用数据清洗函数数据的排序数据的搜索练习(jupyter)代码下面是结果3.Pandas常用数据结构series和dataframeseriesdataframe常用方法练习(jupyter)代码下面是结果1.numpy常用数据结构常用清洗工具:目前在Python中, numpy和pandas是最主流的工具Numpy中的向量化运算使原创 2020-05-11 23:03:46 · 2191 阅读 · 1 评论