数据挖掘建模过程
1. 确定数据挖掘的目标
2. 数据取样
3. 数据整理
4. 构建数据模型
5. 模型评价
6. 模型应用
1. 确定数据挖掘的目标
针对具体的数据挖掘应用需求,首先要确定本次数据挖掘的目标是什么?系统完成之后能够达到什么样的效果?
要想充分发挥数据挖掘的价值,必须对目标有一个清晰明确的定义,即决定到底想干什么?
2. 数据取样
在明确了需要进行数据挖掘的目标之后,接下来就需要从业务系统中抽取一个与挖掘目标相关的样本数据子集。
抽取数据的标准,一是相关性;二是可靠性;三是有效性。
在抽取数据时,还需要关注数据的质量。
衡量数据取样质量的标准如下:
(1)数据完整,无缺,各类指标项齐全;
(2)数据准确无误,反映的都是正常(而不是异常)状态下的水平。
抽样的方式:
- 随机抽样
- 等距抽样
- 分层抽样
- 从起始顺序抽样
- 分类抽样
3. 数据整理
对所抽取的样本数据进行探索、审核和必要的加工处理,是保证最终的挖掘模型的质量所必须的。
数据探索主要包括:
(1)异常值分析