大数据时代入门＜二＞——数据挖掘方法和技术 理论篇

大数据时代入门<二>——数据挖掘方法和技术 理论篇

目录

###概述
数据挖掘方法依据的基本原理主要有：

  1. 信息论，主要是计算数据库中属性的信息量，如ID3、IBLE等方法

  2. 集合论，利用集合之间的覆盖关系（如粗糙集方法、覆盖正例排斥反例的AQ11方法），或计算数据项在整个集合中所占的比例（如关联规则挖掘方法）；

  3. 仿生物技术，把生物体的运转过程转换成数学模型，再用数学模型去解决现实世界的非生物问题，如神经网络、遗传算法等

  4. 人工智能技术，主要是利用启发式搜索方法，如公式发现的BACOM、FDD等方法

  5. 可视化技术，主要是利用图形显示技术



###归纳学习的信息论方法
  归纳学习方法是目前重点研究的方向，研究成果角落。从采用的技术上看，分为两大类：信息论方法（这也是常说的决策树方法）和集合论方法。每类方法又包含多个具体方法。

信息论方法是利用信息论的原理建立决策树。由于该方法最后获得的知识表示形式是决策树，因此一般文献中称它为决策树方法。该类方法的实用效果好，影响较大。

信心轮方法中较有特色的方法有以下几种。

####1. ID3等方法（决策树方法）

Quiulan研制的ID3方法是利用信息论中互相信息（Quiulan称为