简介
在数据集成与清洗后,我们能够得到整合了多数据源同时数据质量完好的数据集。但是,集成与清洗无法改变数据集的规模。我们依然需通过技术手段降低数据规模,这就是数据规约(Data Reduction)。数据规约采用编码方案,能够通过小波变换或主成分分析有效的压缩原始数据,或者通过特征提取技术进行属性子集的选择或重造。
一句话解释版本:
数据规约就是缩小数据挖掘所需的数据集规模,具体方式有维度规约与数量规约。
数据分析与挖掘体系位置
数据规约是有数据预处理中的一个过程。所以其在数据分析与数据挖掘中的位置如下图所示。
数据规约方法
数据规约方法类似数据集的压缩,它通过维度的减少或者数据量的减少,来达到降低数据规模的目的,数据压缩(Data Compression)有无损与有损压缩。方法主要是下面两种:
- 维度规约(Dimensionality Reduction):减少所需自变量的个数。代表方法为WT、PCA与FSS。
- 数量规约(Numerosity Reducton):用较小的数据表示形式替换原始数据。代表方法为对数线性回归、聚类、抽样等。