数据挖掘综述报告

1.数据挖掘产生于发展：

       在金融业方面, 数据挖掘的应用突出表现在信用评估和防止欺诈等方面。PaoloGiudici和OliviaParrRud对利用神经网络、logistic回归和决策树方法进行信用评估的相关问题进行了阐述。RobertGroth从防止金融欺诈的角度论述了数据挖掘的应用问题以及利用神经网络技术进行股票预测的问题。MichaelJ.A.Berry和GordonS.Linoff则从金融产品的交叉销售和保险精算两个角度对数据挖掘在金融业的应用进行了探讨。在金融业方面,数据挖掘的应用突出表现在信用评估和防止欺诈等方面。PaoloGiudici和OliviaParrRud对利用神经网络、logistic回归和决策树方法进行信用评估的相关问题进行了阐述。RobertGroth从防止金融欺诈的角度论述了数据挖掘的应用问题以及利用神经网络技术进行股票预测的问题。MichaelJ.A.Berry和GordonS.Linoff则从金融产品的交叉销售和保险精算两个角度对数据挖掘在金融业的应用进行了探讨。

2.数据挖掘的现状：

    目前，数据挖掘的研究方面主要有：数据库知识发现方面，将KDD 与数据库系统、数据仓库系统和Web数据库系统紧密结合，力图充分利用Web中的丰富资源; 机器学习方面，进一步研究知识发现方法，希望克服现存算法的计算性瓶颈；统计领域，加大传统统计方法在数据挖掘中的应用。

    中国国内数据挖掘的研究领域一般集中于相关算法研究、数据挖掘的实际应用以及相关数据挖掘理论的研究。然而，目前关于数据挖掘的论文虽多，但与企业结合较少。

3.数据挖掘的定义：

›  技术定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

›  商业定义：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。

4.数据挖掘的功能：

    （1）概念知识：

›  数据库中存在着丰富的数据，但人们总希望能以简洁的描述形式来描述汇集的数据集。

›  概念描述就是对某类对象的内涵进行描述并概括出这类对象的有关特征，是一种对数据的概况、提炼和抽象。

›  概念描述分为特征性描述（characterization ）和区别性描述(discrimination) ，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成区别性描述的方法很多，如决策树方法、遗传算法等。

（2）关联知识：

›  关联知识主要反映一个事件和其他事件之间依赖或者关联性。如果两项或者多项属性之间存在关联，那么其中一项的属性值就可以根据其他属性值进行预测。

›  关联知识能寻找到数据库中大量数据的相关联系, 常用的两种技术为关联规则和序列模式。关联规则可用于如分析客户在超市买牙刷的同时又买牙膏的可能性；序列模式分析则如买了电脑的顾客会在三个月内买杀毒软件。

（3）聚类知识：

›  聚类就是将数据对象分组为多个类或簇，使得在同一个簇中的对象之间具有较高的相似度，而在不同簇中的对象差别很大。

›  聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类分析有广泛的应用，包括市场或客户分割、生物学研究、空间数据分析等方面。

（4）分类知识：

›  分类知识主要反映同类事物的共同特征和不同事物之间的差异。

分类知识可以用来分析己有的数据，也可以用它来预测未来的数据。例如，用分类来分析用户行为，通过这种分类，我们可以得知某一商品的用户群，对销售来说有很大的帮助。

（5）预测性知识：

›  预测知识根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识。

›  数据挖掘通过对数据库中的数据进行分类和预测，可以自动地提出描述重要数据类的模型或预测未来的数据趋势。这在商业界的应用很广，包括信誉证实、选择购物和性能预测等。一个典型的例子是市场预测问题，数据挖掘利用原有的销售记录来预测新推出的产品的销售情况等。

（6）偏差性知识：

›  偏差型知识是对差异和极端特例的描述，揭示事物偏离常规的异常现象。

›  数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。这常用于金融银行业中检测欺诈行为，或市场分析中分析特殊消费者的消费习惯。

5.数据挖掘的十大算法：

（1）C4.5

C4.5 算法是机器学习算法中的一种分类决策树算法,其核心算法是 ID3 算法.   C4.5 算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：

1)  用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；

2)  在树构造过程中进行剪枝；

3)  能够完成对连续属性的离散化处理；

4)  能够对不完整数据进行处理。

    C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。

    （2）The k-means algorithm  即 K-Means 算法

    k-meansalgorithm 算法是一个聚类算法，把 n 的对象根据他们的属性分为 k 个分割，k < n。

    它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。

    它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。

    (3)Supportvector machines

    支持向量机，英文为 Support  Vector  Machine，简称 SV 机（论文中一般简称 SVM） 。 它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空