数据变换策略概述
- 光滑(smooth):去掉数据中的噪声,分箱,回归和聚类
- 属性构造(特征构造):由给定的属性构造出新的属性并添加到数据集中,如
width * height ==> area
- 聚集:对数据进行汇总或聚集。如聚集日销售数据为季度、年度销售数据
- 规范化(试图赋予所有属性相等的权重):把属性数据按比例缩放,使之不同属性直接影响较小
- 离散化:数值属性的原始值用区间标签(如0-1,1-2,2-3…)或概念标签(lv1,lv2…)替换,这些标签可以递归的组织成更高层的概念。
- 由标称数据产生概念分层:如street - city - country
规范化
最大最小规范化
v' = (v - min) / (max - min)
Z-score 规范化(零均值规范化)
当属性A的实际最小值和最大值未知,或离群点左右了最小-最大规范化时,该方法是有用的
v' = (v - avg) / (standard deviation)