【数据挖掘导论】——数据质量

数据质量

数据挖掘使用的数据通常是为其他用途收集或者收集的时候还没有明确目的。因此数据常常不能在数据的源头控制质量。为了避免数据质量的问题，所以数据挖掘着眼于两个方面：数据质量问题的检测和纠正（数据清理）；使用可以容忍低质量数据的算法。

测量和数据收集问题

完美的数据在实际中几乎是不存在的，对于存在的数据质量问题，我们先定义测量误差和数据收集错误，然后考虑测量误差的各种问题：噪声，伪像，偏倚，精度和准确度。接着讨论测量和数据收集的数据质量问题：离群点，遗漏和不一致的值，重复数据。

测量误差（measurements error）是指测量过程中导致的问题，如：记录的值与实际的值不相同。

数据收集错误（data collectio