数据挖掘的流程

数据挖掘的流程

1、 数据挖掘的定义： 数据挖掘是从大量的，不完全的，随机的，模糊的，有噪声的实际应用数据中，提取隐含在其中，但又有潜在有用的信息和知识的过程。
2、跨行业数据挖掘的标准流程是当今数据挖掘界通用的流行标准之一，基本步骤为：
商业理解：从商业的角度理解项目的目标的要求，转化为数据挖掘问题，确定业务目标，项目可行性分析，确定数据挖掘的目标，提出项目计划。

数据理解：收集原始数据，熟悉数据，了解关键属性的分布，检查数据是否完整。

数据准备：数据选择，数据清洗，数据创建，数据合成，数据转换。填充缺失数据，转换为合适的格式

建立模型：选择建模技术，测试方案的设计，模型训练，模型测试评估。

模型评估：为确保它真正的达到商业目标，对结果进行评估，检查建立模型的各个步骤，进行过程回顾，，确定下一步的工作，重新建模，还是部署该模型。

模型实施：实施计划，监控和维护，做出最终的报告，回顾项目，总结经验。
3、以上是流程，还有SPSS和SAS 两种工具，算作两种模型：SPSS模型有两个重要的箭头在模型评估的过程后，会比较商业理解，看能否达到商业目标，也会在实施之后比较商业理解，看是否符合商业目标
SAS提出
取样 预处理 技术选择 特征处理 建模 评估。
4、数据挖掘又称为数据库中的知识发现，实际上是知识发现的一个基本步骤：
知识发现的过程：
数据清理; 消除噪声数据，填充缺失值，删除不一致的数据

数据集成：将多种数据源组合在一起

数据选择：从数据库中提取分析相关的数据

数据变换：通过汇总和聚集操作，把数据变换和统一成适合挖掘的形式

数据挖掘：基本步骤，使用智能的算法提取数据模式

模型评估：根据某种兴趣度度量，识别表示知识的真正有趣的模式

知识表示：使用可视化和知识表示技术向用户提供数据挖掘知识 使用可视化技术向用户展示。