机器学习|数据清理概述

数据清理是机器学习的重要组成部分之一。它在构建模型中起着重要作用。它肯定不是机器学习中最精彩的部分，同时，也没有任何隐藏的技巧或秘密需要揭示。然而，项目的成功或失败取决于正确的数据清理。专业的数据科学家通常会在这一步投入很大一部分时间，因为他们相信“更好的数据胜过更好的算法”。
如果我们有一个经过良好清理的数据集，那么我们也有机会使用简单的算法获得良好的结果，这有时会证明非常有益，特别是在数据集大小很大时的计算方面。显然，不同类型的数据将需要不同类型的清理。然而，这种系统的方法总是可以作为一个良好的起点。
数据清理涉及的步骤：
数据清理是机器学习（ML）中的关键步骤，因为它涉及识别和删除任何丢失，重复或不相关的数据。数据清理的目标是确保数据准确、一致且无错误，因为不正确或不一致的数据会对ML模型的性能产生负面影响。
数据清理也称为数据清洗或数据预处理，是数据科学中的关键步骤，涉及识别和纠正或删除数据中的错误，不一致和不准确之处，以提高其质量和可用性。数据清理是必不可少的，因为原始数据通常是嘈杂的，不完整的，不一致的，这可能会对从中获得的见解的准确性和可靠性产生负面影响。

以下是数据清理中最常见的步骤

1. 数据检查和探索：这一步包括通过检查数据结构、识别缺失值、离群值和不一致性来理解数据。
2. 处理缺失数据：缺失数据是现实世界数据集中的常见问题，它可能由于各种原因而发生，例如人为错误，系统故障或数据收集问题。可以使用各种技术来处理缺失的数据，例如插补、删除或替换。
3. 处理离群值：异常值是与大多数数据显著偏离的极值。它们可能会对分析和模型性能产生负面影响。诸如聚类、插值或变换之类的技术可以用于处理离群值。
4. 数据转换：数据转换涉及将数据从一种形式转换为另一种形式，以使其更适合分析。诸如归一化、缩放或编码的技术可以用于变换数据。
5. 数据集成：数据集成涉及将来自多个源的数据组合到单个数据集中以便于分析。它涉及处理数据集之间的不一致、重复和冲突。
6. 数据确认和验证：数据确认和验证涉及通过将数据与外部来源或专家知识进行比较来确保数据准确和一致。
7. 数据格式化：数据格式化涉及将数据转换为标准格式或结构，这些格式或结构可以容易地由用于分析的算法或模型处理。

总之，数据清理是数据科学中的关键步骤，涉及识别和纠正数据中的错误，不一致和不准确之处，以提高其质量和可用性。它涉及各种技术，例如处理缺失数据，处理离群值，数据转换，数据集成，数据验证和验证以及数据格式化。数据清理的目标是为分析准备数据，并确保从中获得的见解是准确和可靠的。