数据预处理包括数据清洗、数据集成、数据变换和数据规约。数据清洗涉及数据质量的多个维度，如数据完整性、准确性、一致性等，通过缺失数据处理、重复数据检测、异常数据处理和逻辑错误检测来改善数据质量。数据集成是将多个数据源合并到单一存储。数据变换用于处理数据不一致，包括数据类型转化、属性构造、离散化和标准化。数据规约则用于减少数据集的规模，如数据立方体和属性子集选择。
数据预处理是指在对数据进行数据挖掘之前，先对原始数据进行必要的清洗、集成、转换、离散和规约等一系列的处理工作，已达到挖掘算法进行知识获取研究所要求的最低规范和标准。通常数据预处理包括：数据清洗、数据集成、数据变换、数据规约。
一：数据清洗
数据清洗是填充缺失数据、消除噪声数据等操作，主要通过分析“脏数据”的产生原因和存在形式，利用现有的数据挖掘手段和方法去清洗“脏数据”，将“脏数据”转化为满足数据质量要求和应用要求的数据，从而提高数据集的质量，满足现阶段数据分析的需求。
1.数据质量
数据质量主要有10个维度：
数据规范：对数据标准、数据模型、业务规则、元数据和参考数据进行有关存在性、完整性、质量和归档的测量标准；
数据完整性准则：对数据进行有关存在性、有效性、结构、内容和其他基本数据特征的测量标准；
重复：对存在于系统内或系统间的特定字段、记录或数据集意外重复的测量标准；
准确性：对数据内容正确性进行测量的标准；
一致性和同步：对各种不同的数据仓库、应用和系统中存储或使用的信息等价程度的测量，以及使数据等价处理流程的测量标准；
及时性和可用性：在预期时段内对特定应用的及时程度和可用程度的测量标准；
易用性和可维护性：对数据可被访问和使用的程度，以及数据能被更新、维护和管理程度的测量标准；
数据覆盖：相对于数据总体和全体相关的对象数据的可用性和全面性的测量标准；
表达质量：如何进行有效信息表达以及如何从用户中收集信息的测量标准；
可理解性
最低0.47元/天 解锁文章
2487
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
