MATLAB数据分析与挖掘实战-数据探索-3.1 数据质量分析

数据质量分析
主要任务：检查原始数据中（样本数据）是否存在脏数据
脏数据一般是指不符合要求，以及不能直接进行相应分析的数据，
在常见的数据挖掘工作中，脏数据包括：
缺失值
异常值
不一致的值
内部资料  泰迪科技（www.tipdm.com）*
重复数据及含有特殊符号（如#、￥、*）的数据
本小节将主要对数据中的缺失值、异常值和一致性进行分析

 

=======================================

 

缺失值 分析：

 

缺失值分析
缺失值产生的原因
有些信息暂时无法获取，或者获取信息的代价太大。
信息被遗漏
人为因素：输入时认为不重要、忘记填写或对数据理解错误
物理故障：数据采集设备、存储介质、传输媒体的故障
属性值不存在
内部资料  泰迪科技（www.tipdm.com）*
在某些情况下，缺失值并不意味着数据有错误
对一些对象来说某些属性值是不存在的：如一个未婚者的配偶
姓名、一个儿童的固定收入等。
成立仅9天家政公司拿下300万政府大单：三年内无不良记录

 

 

 

 

 

 

 

 

=================================

 

异常值分析

 

 

 

 

 

 

 

 

 

 

 

=======================================

 

一致性分析 

 

 

 

 

 

 

 

 

 

================

 

 

相关案例 及其代码：