python pandas数据清洗_Python数据分析：基于Pandas数据清洗

针对数据统计分析来讲，数据信息是无可置疑的核心内容。但并非是全部的数据信息都是有价值的，绝大部分数据信息是良莠不齐的，基本概念层次不清的，量级有所不同的，这就给后期的数据统计分析和数据挖掘造成 了很大的不便，甚至是造成不正确的理论依据。因此很有必要对数据信息开展预处理。

说到python与数据分析，那肯定少不了pandas的身影。

一、数据清洗是什么

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

二、Python pandas数