python数据清洗入门教程（完整版）

数据清洗是整个数据分析过程的第一步，也是整个数据分析项目中最耗费时间的一步。数据清洗的过程决定了数据分析的准确性。随着大数据的越来越普及，数据清洗是必备的技能之一，本教程将较为完整地介绍利用python进行数据清洗的整个过程。即适合零基础的小白也可作为数据清洗大佬的复习指南。文章较长，干货较多，建议大家先收藏后观看，希望对大家有所帮助。

为了方便阅读和复习，本教程中的代码均采用图片形式，源代码和所需要的数据在下面的链接里
链接：https://pan.baidu.com/s/1-3PMsSs5XKjhszVXQIABpw
提取码：23uk

课程大纲

• 1.数据清洗之常用工具
• • 1.1 Numpy
  • • Numpy常用数据结构
    • Numpy常用方法
    • 数组访问方法
    • Numpy常用数据清洗函数
  • 1.2 Pandas
  • • Pandas常用数据结构series和方法
    • Pandas常用数据结构dataframe和方法
    • series和dataframe常用方法
• 2.数据清洗之文件操作
• • 2.1 csv文件读写
  • 2.2 excel文件读写
  • 2.3 数据库文件读写
• 3. 数据清洗之数据表处理
• • 3.1 数据常用筛选方法
  • 3.2 数据增加和删除
  • 3.3 数据修改和查找
  • 3.4 数据整理
  • 3.5层次化索引
• 4. 数据清洗之数据转换
• • 4.1 日期格式数据处理
  • 4.2 字符串数据处理
  • 4.3 高阶函数数据处理
• 5. 数据清洗之数据统计
• • 5.1 数据分组运算
  • 5.2 聚合函数使用
  • 5.3 分组对象与apply函数
  • 5.4 透视图与交叉表
• 6. 数据清洗之数据预处理
• • 6.1 重复值处理
  • 6.2 缺失值处理
  • 6.3 异常值处理
  • 6.4 数据离散化处理
• 7. 总结与梳理
• • 7.1 数据清洗步骤
  • 7.2 函数大全
  • 7.3 数据清洗之总结

1.数据清洗之常用工具

数据清洗意义

1. 现实生活中，数据并非完美的, 需要进行清洗才能进行后面的数据分析
2. 数据清洗是整个数据分析项目最消耗时间的一步
3. 数据的质量最终决定了数据分析的准确性
4. 数据清洗是唯一可以提高数据质量的方法,使得数据分析的结果也变得更加可靠

数据清洗常用工具

1. 目前在Python中, numpy和pandas是最主流的工具
2. Numpy中的向量化运算使得数据处理变得高效
3. Pandas提供了大量数据清洗的高效方法
4. 在Python中，尽可能多的使用numpy和pandas中的函数，提高数据清洗的效率

1.1 Numpy

Numpy常用数据结构

1. Numpy中常用的数据结构是ndarray格式
2. 使用array函数创建，语法格式为array(列表或元组)
3. 可以使用其他函数例如arange、linspace、zeros等创建

Numpy常用方法

1. ndim： 返回int,表示ndarray的维度
2. shape：返回尺寸，几行几列
3. size：