数据挖掘标准 CRISP-DM 学习

CRISP-DM (cross-industry standard process for data mining), 即为"跨行业数据挖掘过程标准".

此KDD（knowledge discovery in database，KDD， 数据库知识发现）过程模型于1999年欧盟机构联合起草. 通过近几年的发展,CRISP-DM 模型在各种KDD过程模型中占据领先位置,采用量达到近60%.(数据引自Cios and Kurgan于2005年合著的论文trends in data mining and knowledge discovery中 )

   

CRISP-DM过程描述

 

　　CRISP-DM 模型为一个KDD工程提供了一个完整的过程描述.该模型将一个KDD工程分为6个不同的,但顺序并非完全不变的阶段.

 

　　1: business understanding: 即商业理解. 在第一个阶段我们必须从商业的角度上面了解项目的要求和最终目的是什么. 并将这些目的与数据挖掘的定义以及结果结合起来.

 

　　2.data understanding: 数据的理解以及收集,对可用的数据进行评估.

 

　　3: data preperation: 数据的准备,对可用的原始数据进行一系列的组织以及清洗,使之达到建模需求.

 

　　4:modeling: 即应用数据挖掘工具建立模型.

 

　　5:evaluation: 对建立的模型进行评估,重点具体考虑得出的结果是否符合第一步的商业目的.

 

　　6: deployment: 部署（方案实施）,即将其发现的结果以及过程组织成为可读文本形式.(数据挖掘报告)

 

 一个数据挖掘项目的生命周期包含六个阶段。这六个阶段的顺序是不固定的，我们经常需要前后调整这些阶段。这依赖每个阶段或是阶段中特定任务的产出物是否是下一个阶段必须的输入。上图中箭头指出了最重要的和依赖度高的阶段关系。 

    上图的外圈象征数据挖掘自身的循环本质――在一个解决方案发布之后一个数据挖掘的过程才可以继续。在这个过程中得到的知识可以触发新的，经常是更聚焦的商业问题。后续的过程可以从前一个过程得到益处。 

    业务理解 （Business Understanding） 
    最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将这个知识转化为数据挖掘问题的定义和完成目标的初步计划。 

    数据理解 （Data Understanding） 
    数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。 

    数据准备 （Data Preparation） 
    数据准备阶段包括从未处理数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务有个能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择，以及为模型工具转换和清洗数据。 

    建模（Modeling） 
    在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。一般，有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特殊要求，因此需要经常跳回到数据准备阶段。

    评估（Evaluation） 
    到项目的这个阶段，你已经从数据分析的角度建立了一个高质量显示的模型。在开始最后部署模型之前，重要的事情是彻底地评估模型，检查构造模型的步骤，确保模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分的考虑。在这个阶段结束后，一个数据挖掘结果使用的决定必须达成。 

    部署 （Deployment） 
    通常，模型的创建不是项目的结束。模型的作用是从数据中找到知识，获得的知识需要便于用户使用的方式重新组织和展现。根据需求，这个阶段可以产生简单的报告，或是实现一个比较复杂的、可重复的数据挖掘过程。在很多案例中，这个阶段是由客户而不是数据分析人员承担部署的工作。

网上有的流程图都是英文的，自己绘制了一个中文版的，拿来与大家分享，欢迎收藏。

 

Phases of the CRISP-DM Process Model

参考： http://blog.sciencenet.cn/blog-94473-380933.html