数据预处理

数据变换策略概述

1. 光滑（smooth）：去掉数据中的噪声，分箱，回归和聚类
2. 属性构造（特征构造）：由给定的属性构造出新的属性并添加到数据集中，如
   width * height ==> area
3. 聚集：对数据进行汇总或聚集。如聚集日销售数据为季度、年度销售数据
4. 规范化(试图赋予所有属性相等的权重)：把属性数据按比例缩放，使之不同属性直接影响较小
5. 离散化：数值属性的原始值用区间标签（如0-1,1-2,2-3…）或概念标签（lv1,lv2…）替换，这些标签可以递归的组织成更高层的概念。
6. 由标称数据产生概念分层：如street - city - country

规范化

最大最小规范化

v' = (v - min) / (max - min)

Z-score 规范化（零均值规范化）

当属性A的实际最小值和最大值未知，或离群点左右了最小-最大规范化时，该方法是有用的

v' = (v - avg) / (standard deviation)