学习笔记（五）数据预处理之数据归约

数据归约：原始数据用数据集的归约表示，它小得多，但仍接近于保持原始数据的完整性。也就是说，在归约后的数据集上挖掘将更有效，仍然产生相同的分析结果。

1数据归约包括维归约、数量归约和数据压缩。

维归约：减少所考虑的随机变量或属性的个数。方法有小波变换、主成分分析，把原始数据变换或投影到较小的空间。属性自己选择是一种维归约方法，其中不相关、弱相关或冗余的属性或维被检测或删除。

数量归约：用替代的、较小的数据表示形式换原始数据。这些技术可以是参数或者非参数的。对于参数方法而言，使用模型估计数据，使得一般只需要存放模型参数而不是实际数据（离群点需存放）。非参数方法包括：直方图、聚类、抽样和数据立方体聚类。

数据压缩：使用变换，一遍得到原始数据的归约或“压缩”表示。如果数据可以在压缩后的数据重构，而不损失信息，则该数据归约被称为无损的。如果是近似重构原数据，称为有损的。

2小波变换：离散小波变换（DWT）是一种现行信号处理技术，勇于数据向量X时，将他变换成不同的数值小波系数向量.两个向量具有相同的长度。每个元组被看作一个n维数据向量。

DWT与离散傅里叶变换（DFT）有密切关系，DFT是一种涉及正弦和余弦信号处理技术。一般地，DWT是一种更好的有损压缩，提供原始数据更准确的近似，切且需要的空间更小。

只有一种DFT但是有若干族DWT。离散小波变换的一般过程使用一种金字塔算法，在每一次迭代时将数据减