数据归约

对于小型或中型数据集，一般的数据预处理步骤已经足够。但对真正大型数据集来讲，在应用数据挖掘技术以前，更可能采取一个中间的、额外的步骤-数据归约。本步骤中简化数据的主题是维归约，主要问题是是否可在没有牺牲成果质量的前提下，丢弃这些已准备和预处理的数据，能否在适量的时间和空间里检查已准备的数据和已建立的子集。

对数据的描述，特征的挑选，归约或转换是决定数据挖掘方案质量的最重要问题。在实践中，特征的数量可达到数百，如果我们只需要上百条样本用于分析，就需要进行维归约，以挖掘出可靠的模型；另一方面，高维度引起的数据超负，会使一些数据挖掘算法不实用，唯一的方法也就是进行维归约。预处理数据集的3个主要维度通常以平面文件的形式出现：列（特征），行（样本）和特征的值，数据归约过程也就是三个基本操作：删除列，删除行，减少列中的值。

维归约：通过删除不相关的属性（或维）减少数据量，通常使用属性子集选择方法。对于属性子集选择，通常使用压缩空间的启发式算法，这些算法是贪心算法。有效的有损维度归约方法：离散小波变化（DWT）和主成分分析（PCA）。

案例归约：一般是对于大样本数据来说，选取一定的样本，根据研究目的的进行数据挖掘技术。

值技术归约：即数据压缩，应用数据编码或变化，以便得到原数据的归约或“压缩”表示。主成分分析（PCA 又称Karhunen-Loeve或K-L）方法。