1. 定义挖掘目标
通过了解相关行业领域,熟悉背景知识,了解用户真正的需求,确定数据挖掘的目标,及模型建立后想要达到的效果。
2. 数据采集与处理
明确挖掘目标后,需要从业务数据系统中抽取与挖掘目的相关的样本数据子集。抽样的三个标准:
1. 相关性
2. 可靠性
3. 有效性
为了尽可能确保数据的完整性和准确性,我们需要对抽样数据进行探索和预处理。
探索包括:异常值分析、缺失值分析、相关分析和周期性分析等
预处理包括:异常值处理、缺失值处理, 降维处理、数据变量转换、数据标准化、主成分分析等
3. 挖掘建模
1. 明确本次建模属于数据挖掘应用中的那类问题,比如:分类、聚类、关联规则、时序模式或者智能推荐等
2. 选着合适的算法进行模型构建
4. 模型评价
从建模过程中得出的一系列分析结果中,选取一个最好的模型。 不同模型算法的评价方法不同。
5. 模型发布