数据挖掘技术简介

数据挖掘是目前一种新的重要的研究领域。本文介绍了数据挖掘的概念、目的、常用方法、数据挖掘过程、数据挖掘软件的评价方法。对数据挖掘领域面临的问题做了介绍和展望。

　　关键词：数据挖掘 数据集合

　　1. 引言

　　数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。随着信息 技术的高速发展，人们积累的数据量急剧增长，动辄以TB计，如何从海量的数据中提取有用的知识成为当务之急。数据挖掘就是为顺应这种需要应运而生发展起来 的数据处理技术。是知识发现(Knowledge Discovery in Database)的关键步骤。

　　2. 数据挖掘的任务

　　数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

　　⑴关联分析(association analysis)

　　关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简 单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关 性等参数，使得所挖掘的规则更符合需求。

　　⑵聚类分析(clustering)

　　聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。

　　⑶分类(classification)

　　分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

　　⑷预测(predication)

　　预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。

　　⑸时序模式(time-series pattern)

　　时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。

　　⑹偏差分析(deviation)

　　在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

　　3．数据挖掘对象

　　根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。
　　4．数据挖掘流程

　　⑴定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

　　⑵数据准备：数据准备包括：选择数据--在大型数据库和数据仓库目标中提取数据挖掘的目标数据集；数据预处理--进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。

　　⑶数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。

　　⑷结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

　　⑸知识的运用：将分析所得到的知识集成到业务信息系统的组织结构中去。

　　5．数据挖掘的方法

　　⑴神经网络方法

　 　神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典 型的神经网络模型主要分3大类：以感知机、BP反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以Hopfield的 离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以ART模型、Koholon模型为代表的，用于聚类的自组织映射方法。 神经网络方法的缺点是"黑箱"性，人们难以理解网络的学习和决策过程。

　　⑵遗传算法

　　遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

　 　Sunil已成功地开发了一个基于遗传算法的数据挖掘工具，利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖掘 的有效方法之一[4]。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构，在不增加错误率的前提下，删除多余的连 接和隐层单元；用遗传算法和BP算法结合训练神经网络，然后从网络提取规则等。但遗传算法的算法较复杂，收敛于局部极小的较早收敛问题尚未解决。

　　⑶决策树方法

　 　决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大 规模的数据处理。最有影响和最早的决策树方法是由Quinlan提出的著名的基于信息熵的ID3算法。它的主要问题是：ID3是非递增学习算法；ID3决 策树是单变量决策树，复杂概念的表达困难；同性间的相互关系强调不够；抗噪性差。针对上述问题，出现了许多较好的改进算法，如 Schlimmer和Fisher设计了ID4递增式学习算法;钟鸣，陈文伟等提出了IBLE算法等。

　　⑷粗集方法

　 　粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息；简化输入信息的表达空间；算法简单，易于操作。粗集处理的 对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统，为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集 合论，难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基 于粗集的工具应用软件，如加拿大Regina大学开发的KDD-R;美国Kansas大学开发的LERS等。

　　⑸覆盖正例排斥反例方法

　 　它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反 则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)。比较典型的算法有Michalski的AQ11方法、洪家荣改进的AQ15方法 以及他的AE5方法。

　　⑹统计分析方法

　　在数据库字段项之间存在两种关系：函数关系(能用函数公式表示的确定性关 系)和相关关系(不能用函数公式表示，但仍是相关确定性关系)，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统 计(求大量数据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、相关分析(用相关系数来度量变量间的相关程度)、 差异分析(从样本统计量的值得出差异来确定总体参数之间是否存在差异)等。

　　⑺模糊集方法

　　即利用模糊集合理论对实 际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。 李德毅等人在传统模糊理论和概率统计的基础上，提出了定性定量不确定性转换模型--云模型，并形成了云理论。

　　6．评价数据挖掘软件需要考虑的问题

　　越来越多的软件供应商加入了数据挖掘这一领域的竞争。用户如何正确评价一个商业软件，选择合适的软件成为数据挖掘成功应用的关键。

　　评价一个数据挖掘软件主要应从以下四个主要方面：

　　⑴计算性能：如该软件能否在不同的商业平台运行；软件的架构；能否连接不同的数据源；操作大数据集时，性能变化是线性的还是指数的;算的效率；是否基于组件结构易于扩展；运行的稳定性等；

　　⑵功能性：如软件是否提供足够多样的算法；能否避免挖掘过程黑箱化；软件提供的算法能否应用于多种类型的数据；用户能否调整算法和算法的参数；软件能否从数据集随机抽取数据建立预挖掘模型；能否以不同的形式表现挖掘结果等；

　　⑶可用性：如用户界面是否友好；软件是否易学易用；软件面对的用户：初学者，高级用户还是专家？错误报告对用户调试是否有很大帮助；软件应用的领域：是专攻某一专业领域还是适用多个领域等；

　　⑷辅助功能：如是否允许用户更改数据集中的错误值或进行数据清洗；是否允许值的全局替代；能否将连续数据离散化；能否根据用户制定的规则从数据集中提取子集；能否将数据中的空值用某一适当均值或用户指定的值代替；能否将一次分析的结果反馈到另一次分析中，等等。

　　7．结束语

　 　数据挖掘技术是一个年轻且充满希望的研究领域，商业利益的强大驱动力将会不停地促进它的发展．每年都有新的数据挖掘方法和模型问世，人们对它的研究正日 益广泛和深入。尽管如此，数据挖掘技术仍然面临着许多问题和挑战：如数据挖掘方法的效率亟待提高，尤其是超大规模数据集中数据挖掘的效率；开发适应多数据 类型、容噪的挖掘方法，以解决异质数据集的数据挖掘问题；动态数据和知识的数据挖掘；网络与分布式环境下的数据挖掘等；另外，近年来多媒体数据库发展很 快，面向多媒体数据库的挖掘技术和软件今后将成为研究开发的热点。
========================================================

数据挖掘方法汇总

 

数据挖掘的任务是从数据中发现模式。模式按功能分为预测型(Predictive)和描述型(Descriptive)，而按实际作用可分为以下6种：

（1）分类模式分类模式把数据集中的数据项映射到某个给定的类上,如决策树方法、统计方法及粗糙集方法等。

（2）回归模式分类模式的预测值是离散的，回归模式的预测值是连续的。

（3）关联模式关联模式（Association Model）用于发现事物间的关联规则，或称相关程度。

（4）时间序列模式时间序列模式根据数据随时间变化的趋势，发现某一时间段内数据的相关处理模型，预测将来可能出现值的分布。

（5）聚类模式聚类模式对事先并不知道分组及怎样分组，而是按某种原则将数据划分组，要求组之间差别尽可能大，组内差别尽可能小。

（6）序列模式序列模式与关联模式相仿，差别在于数据间关联性与时间联系起来。即不仅需知道事件是否发生，而且需确定事件发生的时间。

数据挖掘的方法

（1）统计分析方法统计分析方法是利用统计学、概率论的原理对关系中各属性进行统计分析，从而找出它们之间的关系和规律。

（2）遗传算法遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索算法。它最早由美国密执安大学的Holland教授提出，具有计算简单、优化效果好的特点，它在处理组合优化问题方面也有一定的优势，可用于聚类分析等。

（3）粗糙集方法粗糙集理论是波兰Pawlak Z教授在 1982年提出的一种智能决策分析工具，它是一种刻划不完整性和不确定性的数学工具，它能有效地分析不精确、不一致、不完整等各种不完备的信息。粗糙集方 法被广泛应用干不精确、不确定、不完全的信息的分类和知识获取。

（4）决策树方法决策树方法就是利用训练集生成一个测试函数，根据不同取值建立树的分支；在每个分支子集中重复建立下层结点和分支。这样便生成一棵决策树，然后对决策树进行剪枝处理，最后把决策树转化为规则，决策树方法主要用于分类挖掘。

（5）神经网络方法它模拟人脑神经元结构，以MP模型和Hebb规则为基础，建立了三大类 多种神经网络模型。 1. 前馈式网络 它以感知机、反向传播模型、函数网络为代表，可用于预测、模式识别等方面。 2. 反馈式网络它以Hopfield的离散模型和连续模型为代表,分别用于联想和优化计算。 3．自组织网络它以ART模型、Koholon模型为代表，用于聚类。

（6）模糊逻辑模糊数学研究的是“亦此亦彼”的模糊性。模糊数学是继经典数学、统计数学之后，在数学上的又一新的发展。在数据挖掘领域，模糊逻辑可以进行模糊综合判别、模糊聚类分析等。

（7）聚类分析聚类分析是根据事物的特征对其进行聚类或分类，即所谓物以类聚。以期从中发 现规律和典型模式。通过聚类以后，数据集就转化为类集，同一类的数据具有相似的变量值，不同类的数据的变量值不具有相似性。这类技术是数据挖掘的最重要技 术之一。除传统的基于多元统计分析的聚类方法外，近年来模糊聚类和神经网络聚类方法也有了长足的发展。

（8）最近邻技术通过k个与之最相近的历史记录的组合来辨别新记录。这种技术可用作聚类、偏差分析等数据挖掘任务。

（9）可视化技术这是一类辅助方法。它采用比较直观的图形图表方式将挖掘出来的模式表现出来。数据可视化大大扩展了数据的表达能力从而易于为人们所理解。这在数据挖掘中非常重要，可视化技术正受到日益广泛的重视。

===================

数据挖掘的基本知识

数据挖掘研究内容和本质
 随着DMKD研究逐步走向深入，数据挖掘和知识发现的研究已经形成了三根强大的技术支柱：数据库、人工智能和数理统 计。因此，KDD大会程序委员会曾经由这三个学科的权威人物同时来任主席。目前DMKD的主要研究内容包括基础理论、发现算法、数据仓库、可视化技术、定 性定量互换模型、知识表示方法、发现知识的维护和再利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。

数据挖掘所发现的知识最常见的有以下四类：  
- 广义知识（Generalization）
 广义知识指类别特征的概括性描述知识。根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的、中观和宏观的知识，反映同类事物共同性质，是对数据的概括、精炼和抽象。

广 义知识的发现方法和实现技术有很多，如数据立方体、面向属性的归约等。数据立方体还有其他一些别名，如“多维数据库”、“实现视图”、“OLAP"等。该 方法的基本思想是实现某些常用的代价较高的聚集函数的计算，诸如计数、求和、平均、最大值等，并将这些实现视图储存在多维数据库中。既然很多聚集函数需经 常重复计算，那么在多维数据立方体中存放预先计算好的结果将能保证快速响应，并可灵活地提供不同角度和不同抽象层次上的数据视图。另一种广义知识发现方法 是加拿大SimonFraser大学提出的面向属性的归约方法。这种方法以类SQL语言表示数据挖掘查询，收集数据库中的相关数据集，然后在相关数据集上 应用一系列数据推广技术进行数据推广，包括属性删除、概念树提升、属性阈值控制、计数及其他聚集函数传播等。
   
- 关联知识（Association）
 它 反映一个事件和其他事件之间依赖或关联的知识。如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。最为著名的关联规则 发现方法是R.Agrawal提出的Apriori算法。关联规则的发现可分为两步。第一步是迭代识别所有的频繁项目集，要求频繁项目集的支持率不低于用 户设定的最低值；第二步是从频繁项目集中构造可信度不低于用户设定的最低值的规则。识别或发现所有频繁项目集是关联规则发现算法的核心，也是计算量最大的 部分。
   
- 分类知识(Classification＆Clustering)
 它反映同类事物共同性质的特征型知识和 不同事物之间的差异型特征知识。最为典型的分类方法是基于决策树的分类方法。它是从实例集中构造决策树，是一种有指导的学习方法。该方法先根据训练子集 （又称为窗口）形成决策树。如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到窗口中，重复该过程一直到形成正确的决策集。最终结果是一棵 树，其叶结点是类名，中间结点是带有分枝的属性，该分枝对应该属性的某一可能值。最为典型的决策树学习系统是ID3，它采用自顶向下不回溯策略，能保证找 到一个简单的树。算法C4.5和C5.0都是ID3的扩展，它们将分类领域从类别属性扩展到数值型属性。

数据分类还有统计、粗糙集（RoughSet）等方法。线性回归和线性辨别分析是典型的统计模型。为降低决策树生成代价，人们还提出了一种区间分类器。最近也有人研究使用神经网络方法在数据库中进行分类和规则提取。
   
- 预测型知识（Prediction）
 它根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识。

目 前，时间序列预测方法有经典的统计方法、神经网络和机器学习等。1968年Box和Jenkins提出了一套比较完善的时间序列建模理论和分析方法，这些 经典的数学方法通过建立随机模型，如自回归模型、自回归滑动平均模型、求和自回归滑动平均模型和季节调整模型等，进行时间序列的预测。由于大量的时间序列 是非平稳的，其特征参数和数据分布随着时间的推移而发生变化。因此，仅仅通过对某段历史数据的训练，建立单一的神经网络预测模型，还无法完成准确的预测任 务。为此，人们提出了基于统计学和基于精确性的再训练方法，当发现现存预测模型不再适用于当前数据时，对模型重新训练，获得新的权重参数，建立新的模型。 也有许多系统借助并行算法的计算优势进行时间序列预测。  
   
- 偏差型知识(Deviation)
 此外，还可以发现其 他类型的知识，如偏差型知识(Deviation)，它是对差异和极端特例的描述，揭示事物偏离常规的异常现象，如标准类外的特例，数据聚类外的离群值 等。所有这些知识都可以在不同的概念层次上被发现，并随着概念层次的提升，从微观到中观、到宏观，以满足不同用户不同层次决策的需要。
   
数据挖掘的功能
 数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。  
   
- 自动预测趋势和行为
 数 据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题，数据挖掘 使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。  
   
- 关联分析
 数 据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关 联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。
   
- 聚类
 数 据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别 方法和数学分类学。80年代初，Mchalski提出了概念聚类技术牞其要点是，在划分对象时不仅考虑对象之间的距离，还要求划分出的类具有某种内涵描 述，从而避免了传统技术的某些片面性。
   
- 概念描述
 概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特 征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象 的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。
   
- 偏差检测
 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。
   
数据挖掘常用技术
- 人工神经网络
 仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。
   
- 决策树
 代表着决策集的树形结构。
   
- 遗传算法
 基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。
   
- 近邻算法
 将数据集合中每一个记录进行分类的方法。
   
- 规则推导
 从统计意义上对数据中的“如果-那么”规则进行寻找和推导。

采用上述技术的某些专门的分析工具已经发展了大约十年的历史，不过这些工具所面对的数据量通常较小。而现在这些技术已经被直接集成到许多大型的工业标准的数据仓库和联机分析系统中去了。