数据预处理

参考资料：《数据挖掘导论》Pang-Ning Tan 著

1、聚集

2、抽样

3、维规约

4、特征子集选择

5、特征创建

6、离散化和二元化

7、变量变换

选择分析所需要的数据对象和属性及创建/改变属性

改善分析工作，减少时间，降低成本和提高质量

属性=特征=变量

1、聚集

将两个或多个对象合并成单个对象。----删除属性或者压缩特定属性

2、抽样

是一种选择数据对象子集进行分析的常用方法。

处理所有的数据费用太高，太费时间。

在某些情况下，使用抽样算法，以便可以使用更好但开销较大的数据挖掘算法。

（1）简单随机抽样：无放回抽样、有放回抽样

（2）分层抽样：尽管每组大小不同，但从每组抽取的对象个数相同、、或者从每组抽取的对象数量正比于该组的大小。

3、维规约

  主成分分析、奇异值分解

4、特征子集选择

  冗余特征、不相关特征

1）嵌入方法（embedded approach）   数据挖掘算法本身决定使用娜些属性和忽略哪些属性（如决策树）

2）过滤方法（filter approach）   使用独立于数据挖掘任务的方法，在算法运行前进行特征选择（如属性对之间相关度尽可能低）

3）包装方法（wrapper approach）   将数据挖掘算法作为黑盒，使用类似于前面介绍的理想算法

过滤