一、预处理概述
预处理阶段主要做两件事情:
一是将数据导入处理工具。通常来说,建议使用数据库,单机跑数搭建MySQL环境即可。如果数据量大(千万级以上),可以使用文本文件存储+Python操作的方式。
二是看数据。这里包含两个部分:一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取一部分数据,使用人工查看方式,对数据本身有一个直观的了解,并且初步发现一些问题,为之后的处理做准备。
(1)现状:现实世界的数据库极易受到噪声、缺失值和不一致数据的侵扰,因为数据库太大并且多半来源于异种数据源。
(2)数据质量要求准确性、完整性、一致性、实效性、可信性和可解释性。
李云龙:说白了,就是他娘的,劳资要看的准确,完整,一致的数据,你他娘的明白了吗?和尚。
和尚:是,团长。
二、脏数据产生的原因
收集数据设备故障
人或计算机的错误导致数据输入时出现
个人不希望提交个人信息时强制输入不正确值(掩盖的缺失数据)
数据传输中出现错误
错误的命名约定和数据代码格式
重复数据