![](https://img-blog.csdnimg.cn/20200319161912512.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据清洗
数据清洗方法、过程和相关代码整理
favorbanana
这个作者很懒,什么都没留下…
展开
-
python数据清洗工具、方法、过程整理归纳(四、数据清洗之数据转换——日期格式数据处理、高阶函数数据处理、字符串数据处理)
文章目录5 数据转换5.1 日期格式数据处理5.2 高阶函数数据处理5.3 字符串数据处理5 数据转换5.1 日期格式数据处理pandas中使用to_datetime()方法将文本格式转换为日期格式dataframe数据类型如果为datatime64,可以使用dt方法取出年月日等对于时间差数据,可以使用datedelta函数将其转化为指定时间单位的数值时间差数据,可以使用dt方法访问...原创 2020-02-18 20:59:05 · 1156 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(三、数据清洗之数据表操作——数据筛选、增加删除、查找修改、数据整理和层次化索引)
文章目录4 数据表操作4.1 数据常用筛选方法4.2 数据增加和删除4.3 数据修改和查找4.4 数据整理4.5 层次化索引4 数据表操作4.1 数据常用筛选方法在数据中,选择需要的行或者列基础索引方式,即直接引用loc[行索引名称或者条件,列索引名称或者标签]iloc[行索引位置,列索引位置]注意区别loc和ilocimport numpy as npimport pan...原创 2020-02-18 20:57:23 · 1273 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(二、数据清洗之文件读写——读取csv、Excel和MySQL数据)
文章目录3 文件读写3.1 CSV文件读写3.2 Excel的读写3.3 MySQL数据库交互3 文件读写3.1 CSV文件读写pandas内置了10多种数据源读取函数,常见的就是CSV和EXCEL使用read_csv方式读取,结果为dataframe格式在读取csv文件时,文件名称尽量是英文参数较多,可以自行控制,但很多时候用默认参数读取csv时,注意编码,常用编码为utf-8、...原创 2020-02-18 20:53:59 · 2525 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(一、数据清洗之常用工具——numpy,pandas)
文章目录1 背景2 常用工具2.1 numpy2.2 pandas1 背景数据清洗是整个数据分析过程的第一步,也是整个数据分析项目中最耗费时间的一步;数据分析的过程决定了数据分析的准确性。2 常用工具2.1 numpynumpy常用数据结构: numpy中重用的数据结构是ndarray格式 使用array函数创建,语法格式为array(列表或元组) 可以使...原创 2020-02-18 20:35:11 · 4497 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(八、总结)
文章目录数据清洗步骤函数大全数据清洗的内容总结数据清洗步骤函数大全数据清洗的内容总结原创 2020-02-18 22:09:07 · 515 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(七、数据清洗之数据预处理(二)——异常值处理、数据离散化处理)
文章目录数据预处理7.3 异常值处理7.4 数据离散化处理数据预处理7.3 异常值处理异常值指那些偏离正常范围的值,不是错误值异常值出现频率较低,但又会对实际项目分析造成偏差异常值一般用箱线图法(分位差法)或者分布图法(标准差法)来判断异常值往往采取盖帽法或者数据离散化来解决df.head() Condition Condition_Desc Price Locatio...原创 2020-02-18 22:03:12 · 1589 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(六、数据清洗之数据预处理(一)——重复值处理、缺失值处理)
1 背景数据清洗是整个数据分析过程的第一步,也是整个数据分析项目中最耗费时间的一步;数据分析的过程决定了数据分析的准确性。2 常用工具2.1 numpynumpy常用数据结构: numpy中重用的数据结构是ndarray格式 使用array函数创建,语法格式为array(列表或元组) 可以使用其他函数例如arange/linspace/zeros等创建i...原创 2020-02-18 22:01:37 · 2258 阅读 · 0 评论 -
python数据清洗工具、方法、过程整理归纳(五、数据清洗之数据统计——数据分组运算、聚合函数使用、分组对象和apply函数、透视图与交叉表)
文章目录6 数据统计6.1 数据分组运算6.2 聚合函数使用6.3 分组对象和apply函数6.4 透视图与交叉表6 数据统计6.1 数据分组运算使用groupby方法进行分组计算,得到分组对象GroupBy语法为df.groupby(by = )分组对象GroupBy可以运用描述性统计方法,count、mean、median、max和min等import numpy as np...原创 2020-02-18 21:08:54 · 526 阅读 · 0 评论