数据挖掘基础

数据挖掘的基本任务包括利用分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法，帮助企业提取数据中蕴含的商业价值，提高企业的竞争力。

1、定义挖掘目标

2、数据取样

抽取数据的标准，一是相关性，二是可靠性，三是有效性，而不是动用全部企业数据。

常见的抽样方式：

随机抽样

等距抽样

分层抽样

从起始顺序抽样

分类抽样

3、数据探索

要探索的内容包括：数据集是否达到我们设想的要求；样本中有没有明显的规律和趋势；有没有出现从未设想过的数据状态；属性之间有什么相关性；它们可区分成怎样一些类别……

数据探索和预处理的目的是保证样本数据的质量，从而为保证模型质量打下基础。

数据探索主要包括：异常值分析、缺失值分析、相关性分析和周期性分析等。

4、数据预处理

数据预处理主要包括：数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约等。

5、挖掘建模（核心环节）

考虑本次建模属于数据挖掘中的哪类问题（分类、聚类、关联规则、时序模式或智能推荐），选用哪种算法进行模型构建。

6、模型评价

针对建模过程中得出的一系列结果，模型评价的目的是从这些模型中自动找出一个最好的模型，根据业务对模型进行解释和应用。