Python数据挖掘——数据预处理
- 数据预处理
- 数据质量
- 准确性、完整性、一致性、时效性、可信性、可解释性
- 数据预处理的主要任务
- 数据清理
- 数据集成
- 数据归约
- 维归约
- 数值归约
- 数据变换
- 规范化
- 数据离散化
- 概念分层产生
- 数据质量
- 数据清理(试图填充缺失的值,光滑噪声并识别离群点,纠正数据的不一致)
- 缺失值
- 忽略元组
- 人工填写缺失值
- 使用一个全局常量填充缺失值
- 使用属性的中心度量(均值/中位数)填充缺失值
- 使用与给定元组属于同一类的所有样本的均值/中位数
- 使用最可能的值 填充缺失值
- 注:某些情况,缺失值并不代表错误
- 噪声数据(噪声是被测量的变量的随机误差或方差)
- 分箱(通过考察数据的近邻,来光滑有序数据值)
- 用箱均值
- 用箱中位数
- 用箱边界
- 回归
- 离群点分析(通过聚类来检测离群点)
- 分箱(通过考察数据的近邻,来光滑有序数据值)
- 数据清理化为一个过程
- 首先进行偏差检测,还要防止字段过载
- 唯一性规则
- 连续性规则
- 空值规则
- 偏差检测商业工具
- 数据清洗工具
- 数据审计工具
- 数据迁移工具
- EIL工具
- 首先进行偏差检测,还要防止字段过载
- 缺失值
- 数据集成
- 实体识别问题
- 冗余和相关分析
- 元组重复
- 数据值冲突的检测与处理
- 数据归约
- 数据变换与数据离散化