数据规约

数据归约
88%的人还看了
数据处理
数据统计分析方法
数据分析的常用方法
基本内容
一、数据归约基本知识：

对于小型或中型数据集，一般的数据预处理步骤已经足够。但对真正大型数据集来讲，在应用数据挖掘技术以前，更可能采取一个中间的、额外的步骤-数据归约。本步骤中简化数据的主题是维归约，主要问题是是否可在没有牺牲成果质量的前提下，丢弃这些已准备和预处理的数据，能否在适量的时间和空间里检查已准备的数据和已建立的子集。

对数据的描述，特征的挑选，归约或转换是决定数据挖掘方案质量的最重要问题。在实践中，特征的数量可达到数百，如果我们只需要上百条样本用于分析，就需要进行维归约，以挖掘出可靠的模型；另一方面，高维度引起的数据超负，会使一些数据挖掘算法不实用，唯一的方法也就是进行维归约。预处理数据集的3个主要维度通常以平面文件的形式出现：列（特征），行（样本）和特征的值，数据归约过程也就是三个基本操作：删除列，删除行，减少列中的值。

在进行数据挖掘准备时进行标准数据归约操作，我们需要知道从这些操作中我们会得到和失去什么，全面的比较和分析涉及到如下几个方面的参数：

（1）计算时间：较简单的数据，即经过数据归约后的结果，可减少数据挖掘消耗的时间。

（2）预测/描述精度：估量了数据归纳和概括为模型的好坏。

（3）数据挖掘模型的描述：简单的描述通常来自数据归约，这样模型能得到更好理解。