python数据清洗入门教程（完整版）

数据清洗是整个数据分析过程的第一步，也是整个数据分析项目中最耗费时间的一步。数据清洗的过程决定了数据分析的准确性。随着大数据的越来越普及，数据清洗是必备的技能之一，本教程将较为完整地介绍利用python进行数据清洗的整个过程。即适合零基础的小白也可作为数据清洗大佬的复习指南。文章较长，干货较多，建议大家先收藏后观看，希望对大家有所帮助。

为了方便阅读和复习，本教程中的代码均采用图片形式，源代码和所需要的数据在下面的链接里
链接：https://pan.baidu.com/s/1-3PMsSs5XKjhszVXQIABpw
提取码：23uk

课程大纲

• 1.数据清洗之常用工具
• • 1.1 Numpy
  • • Numpy常用数据结构
    • Numpy常用方法
    • 数组访问方法
    • Numpy常用数据清洗函数
  • 1.2 Pandas
  • • Pandas常用数据结构series和方法
    • Pandas常用数据结构dataframe和方法
    • series和dataframe常用方法
• 2.数据清洗之文件操作
• • 2.1 csv文件读写
  • 2.2 excel文件读写
  • 2.3 数据库文件读写
• 3. 数据清洗之数据表处理
• • 3.1 数据常用筛选方法
  • 3.2 数据增加和删除
  • 3.3 数据修改和查找
  • 3.4 数据整理
  • 3.5层次化索引
• 4. 数据清洗之数据转换
• • 4.1 日期格式数据处理
  • 4.2 字符串数据处理
  • 4.3 高阶函数数据处理
• 5. 数据清洗之数据统计
• • 5.1 数据分组运算
  • 5.2 聚合函数使用
  • 5.3 分组对象与apply函数
  • 5.4 透视图与交叉表
• 6. 数据清洗之数据预处理
• • 6.1 重复值处理
  • 6.2 缺失值处理
  • 6.3 异常值处理
  • 6.4 数据离散化处理
• 7. 总结与梳理
• • 7.1 数据清洗步骤
  • 7.2 函数大全
  • 7.3 数据清洗之总结

1.数据清洗之常用工具

数据清洗意义

1. 现实生活中，数据并非完美的, 需要进行清洗才能进行后面的数据分析
2. 数据清洗是整个数据分析项目最消耗时间的一步
3. 数据的质量最终决定了数据分析的准确性
4. 数据清洗是唯一可以提高数据质量的方法,使得数据分析的结果也变得更加可靠