数据清洗
(1)缺失值(忽略,中心趋势度量,该类中心趋势度量,人工填写,使用全局变量填充 ,使用最可能的值填充)
(2)离群点:数据光滑(分箱 (中位数光滑,极值光滑,均值光滑),回归,离群点检测:聚类)
数据集成
(1)实体识别
(2)冗余相关分析(标称数据 :卡方检验 数值型:协方差,相关系数)
(3)元组重复
(4)数据值冲突检测处理
数据归约
(1)维归约(小波分析,PCA主成分分析,属性子集选择,回归和对数线性模型)
(2)数值归约(聚类,直方图,抽样(SRSWOR,SRSWR,簇抽样,分层抽样))
(3)数据压缩
数据变换与离散化
(1)数据变换:规范化(光滑,聚集,离散化,最大值最小值,zscore)
(2)离散化:分箱,直方图,聚类,决策树,相关分析(chimerge)