weka数据挖掘之预处理
数据挖掘是在大量的、潜在有用的数据中挖掘出有用模式的过程,因此,源数据的质量直接影响到挖掘的效果,高质量的数据是有效挖掘的前提。但是,肯定是,不是所有的数据都是那么理想。
由于无法在数据的源头进行控制质量,所以只能通过两个方面设法避免数据质量的问题:
(1)数据质量问题的检测和纠正。
(2)使用能容忍低质量数据的算法。
第一种方式发生在数据挖掘前,这个过程成为预处理。
第二种方式需要提高算法的健壮性。
Weka专门提供若干过滤器进行预处理,还在explorer界面中提供选择属性标签页专门处理属性的自动选择问题。
数据预处理技术设计的策略和技术非常广泛,主要包括以下技术。
聚集
聚集就是将两个或多个对象合并为单个对象。一般来说,定量数据通过求和活求平均值的方式进行聚集,定性数据通常通过汇总进行聚集。*定量数据:就是数值,比如年龄,身高,体重。可以进行平均值等计算的。定量数据说明的是现象的数量特征,是必须用数值来表现的。分为离散数据(Discrete data)和连续数据 (Continuous numerical data)。 定性数据(Qualitative data):定性是性质,只是计数资料。性 别,男或女,但在录入时可能会给定性变量的值进行赋值,如男为0, 女为1,这时的数代表的就是定性资料。不能进行计算。包括分类数据 和顺序数据,是一组表示事物性质、规定事物类别的文字表述型数据, 不 能将其量化,只能将其定性。定性数据说明的是事物的品质特征,