数据质量分析
主要任务:检查原始数据中(样本数据)是否存在脏数据
脏数据一般是指不符合要求,以及不能直接进行相应分析的数据,
在常见的数据挖掘工作中,脏数据包括:
缺失值
异常值
不一致的值
内部资料 泰迪科技(www.tipdm.com)*
重复数据及含有特殊符号(如#、¥、*)的数据
本小节将主要对数据中的缺失值、异常值和一致性进行分析
=======================================
缺失值 分析:
缺失值分析
缺失值产生的原因
有些信息暂时无法获取,或者获取信息的代价太大。
信息被遗漏
人为因素:输入时认为不重要、忘记填写或对数据理解错误
物理故障:数据采集设备、存储介质、传输媒体的故障
属性值不存在
内部资料 泰迪科技(www.tipdm.com)*
在某些情况下,缺失值并不意味着数据有错误
对一些对象来说某些属性值是不存在的:如一个未婚者的配偶
姓名、一个儿童的固定收入等。
成立仅9天家政公司拿下300万政府大单:三年内无不良记录
=================================
异常值分析
=======================================
一致性分析
================
相关案例 及其代码: