数据预处理

现实世界中数据大体上都是不完整,不一致的脏数据,无法直接进行数据挖掘,或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。

  数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技术在数据挖掘之前使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。
  一、数据清理
  首先是处理空缺值,如:要分析某市场的销售和顾客数据,但顾客的income项没有记录,如何处理这类问题
  1、忽略元组:忽略整条记录
  2、人工填写空缺值:根据其它资料手工填写
  3、使用一个全局常量填充空缺值:使所有income项记录都以一个常量(如:2000)填充
  4、使用属性的平均值填充空缺值:取得其它记录中该属性的平均值进行填充
  5、使用与给定元组属同一类的所有样本的平均值:与上面相类似
  6、使用最可能的值填充空缺值:与上面相类似
  然后是处理噪声数据,
  1、分箱:通过考察周围的值来平滑存储数据的值,有两种方法:按箱平均值平滑,箱中每一个值被箱中的平均值替换;按箱边界平滑,箱中的最大和最小值被视为箱边界,箱中的每一个值被最近的边界值替换
  2、聚类:简单来说就是取得相对比较集中的值,相对分散的值忽略不计的方法
  3、回归:通过一个合适的函数(如回归函数)来平滑数据
  4、计算机和人工检查结合:即手工处理
  最后是处理不一致数据
  主要方法是参照其它资料,如纸上记录,人工的加以更正
 
  二、数据集成
  即由多个数据存储合并数据。
 
  三、数据变换
  将数据转换成适用于数据挖掘的形式。
 
  四、数据归约
  数据挖掘时往往数据量非常大,在少量数据上进行挖掘分析需要很长的时间,数据归约技术可以用来得到数据集的归约表示,它小得多,但仍然接近于保持原数据的完整性,并结果与归约前结果相同或几乎相同。
 
  数据预处理是目前数据挖掘一个热门的研究方面,毕竟这是由数据预处理的产生背景所决定的--现实世界中的数据几乎都脏数据
阅读更多
个人分类: Hadoop
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭