使用 Python 进行数据清洗的完整指南

你一定听说过这句著名的数据科学名言：

在数据科学项目中， 80% 的时间是在做数据处理。

如果你没有听过，那么请记住：数据清洗是数据科学工作流程的基础。 机器学习模型会根据你提供的数据执行，混乱的数据会导致性能下降甚至错误的结果，而干净的数据是良好模型性能的先决条件。 当然干净的数据并不意味着一直都有好的性能，模型的正确选择（剩余 20%）也很重要，但是没有干净的数据，即使是再强大的模型也无法达到预期的水平。

在本文中将列出数据清洗中需要解决的问题并展示可能的解决方案，通过本文可以了解如何逐步进行数据清洗。

缺失值

当数据集中包含缺失数据时，在填充之前可以先进行一些数据的分析。 因为空单元格本身的位置可以告诉我们一些有用的信息。 例如：

• NA值仅在数据集的尾部或中间出现。 这意味着在数据收集过程中可能存在技术问题。 可能需要分析该特定样本序列的数据收集过程，并尝试找出问题的根源。
• 如果列NA数量超过 70–80%，可以删除该列。
• 如果 NA 值在表单中作为可选问题的列中，则该列可以被额外的编码为用户回答（1）或未回答（0）。

missingno这个python库就可以用于检查上述情况，并且使用起来非常的简单，例如下图中的白线是 NA：

import missingno as msno 
msno.matrix(df)