《Python数据分析与挖掘实战》笔记（四）：数据预处理

一、数据清洗

缺失值处理

（1）删除记录
（2）不处理
（3）数据插补

均值、中位数、众数插补
使用固定值
最近临插补
回归方法
插值法：拉格朗日插值法，牛顿插值法

异常值处理

（1）删除记录
（2）不处理
（3）数据插补

二、数据集成

数据集成就是将多个数据源合并存放在一个一致的数据存储中的过程

实体识别

（1）同名异意
（2）异名同意
（3）单位不一致

冗余属性识别

（1）同一属性多次出现
（2）同一属性命名不一致导致重复

三、数据变换

数据变换主要是对数据进行规范化处理

简单函数变换

规范化

（1）最小-最大规范化
（2）零-均值规范化
（3）小数定标规范化

连续属性离散化

（1）等宽法
（2）等频法
（3）基于聚类分析的方法

属性构造

小波变换

四、数据规约

在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约产生更小但保持原数据完整性的新数据集

属性规约

（1）合并属性
（2）逐步向前选择
（3）逐步向后删除
（4）决策树归纳
（5）主成分分析

数值规约

（1）直方图（离散）
（2）聚类
（3）抽样
（4）参数回归