数据挖掘的流程
1、 数据挖掘的定义: 数据挖掘是从大量的,不完全的,随机的,模糊的,有噪声的实际应用数据中,提取隐含在其中,但又有潜在有用的信息和知识的过程。
2、跨行业数据挖掘的标准流程是当今数据挖掘界通用的流行标准之一,基本步骤为:
商业理解:从商业的角度理解项目的目标的要求,转化为数据挖掘问题,确定业务目标,项目可行性分析,确定数据挖掘的目标,提出项目计划。
数据理解:收集原始数据,熟悉数据,了解关键属性的分布,检查数据是否完整。
数据准备:数据选择,数据清洗,数据创建,数据合成,数据转换。填充缺失数据,转换为合适的格式
建立模型:选择建模技术,测试方案的设计,模型训练,模型测试评估。
模型评估:为确保它真正的达到商业目标,对结果进行评估,检查建立模型的各个步骤,进行过程回顾,,确定下一步的工作,重新建模,还是部署该模型。
模型实施:实施计划,监控和维护,做出最终的报告,回顾项目,总结经验。
3、以上是流程,还有SPSS和SAS 两种工具,算作两种模型:SPSS模型有两个重要的箭头在模型评估的过程后,会比较商业理解,看能否达到商业目标,也会在实施之后比较商业理解,看是否符合商业目标
SAS提出
取样 预处理 技术选择 特征处理 建模 评估。
4、数据挖掘又称为数据库中的知识发现,实际上是知识发现的一个基本步骤:
知识发现的过程:
数据清理; 消除噪声数据,填充缺失值,删除不一致的数据
数据集成:将多种数据源组合在一起
数据选择:从数据库中提取分析相关的数据
数据变换:通过汇总和聚集操作,把数据变换和统一成适合挖掘的形式
数据挖掘:基本步骤,使用智能的算法提取数据模式
模型评估:根据某种兴趣度度量,识别表示知识的真正有趣的模式
知识表示:使用可视化和知识表示技术向用户提供数据挖掘知识 使用可视化技术向用户展示。