数据挖掘步骤

图1为知识挖掘的步骤


数据处理：
 标准化处理
 离散化 (Discretization)
 连续值－>离散值，分类中常用
 取样 (Sampling)
 维度缩减 (Dimensionality Reduction)
 维度灾难 (Curse of Dimensionality)
 维度过高造成过学习等一系列问题，不利于数据挖掘处理。
 特征选取
 Gain、CHI、MI
 特征抽取
 Principal Components Analysis (PCA)
 Singular Value Decomposition (SVD)

标准化处理
 如果数值型属性的量纲和单位不同，在计算对象距离（相似度）之前，必须把不同的度量单位统一成相同的度量单位。
 由于属于不同概念范畴的属性具有不同的含义，所以把所有的属性转化成某个特定的度量单位是不现实，也是不可能的。
 常用方法
 标准化：把属性的值域映射到一个相同的区间。
 经过标准化处理后，每个属性对距离的度量有着等同的作用。

数据理解：
A. 从数据源抽取数据
B. 用表格图形技术透视数据
C. 处理缺失值
数据准备：
A. 针对记录的数据准备，如选择记录、对记录排序
B. 针对字段的数据准备，如生成新字段
C. 针对文件的数据准备，如合并文件
标准化－数值型属性
 样本XiD ， xij是Xi在第j个属性上的值，常用的标准化方法有：