数据挖掘基础

抽样数据的标准，一是相关性，二是可靠性，三是有效性，而不是动用全部企业数据。

此外要严把质量关。

衡量取样数据质量的标准如下：

• 资料完整无缺，各类指标项齐全
• 数据准确无误，反映的都是正常（而不是异常）状态下的水平。
  

对所抽取的样本数据进行探索、审核和必要的加工处理，是保证最终的挖掘模型的质量所必需的 。可以说，挖掘模型的质量不会超过抽取样本的质量。数据探索和预处理的目的是为了保证样本数据的质量，从而为保证模型质量打下基础。

数据探索主要包括：异常值分析、缺失值分析、相关分析和周期性分析等。

由于采样数据中常常包含许多噪声、不完整，甚至不一致的数据，对数据挖掘所涉及的数据对象必须进行预处理。

数据预处理主要包括：数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约等。

接下来考虑本次建模属于数据挖掘应用中的哪类问题（分类、聚类、关联规则、时序模式或者智能推荐）。选择哪种算法进行构建。是数据挖掘的核心环节。
建模过程中会出现一系列的分析结果，模型评价的目的之一就是从这些模型中自动找出一个最好的模型，另外就是要根据业务对模型进行解释和应用。
综上，数据挖掘建模为：

• 定义挖掘目标
• 数据取样
• 数据探索
• 数据预处理
• 数据建模
• 模型评价
  常用的数据挖掘建模工具：