大数据时代入门<二>——数据挖掘方法和技术 理论篇
目录
###概述
数据挖掘方法依据的基本原理主要有:
1. 信息论,主要是计算数据库中属性的信息量,如ID3、IBLE等方法
2. 集合论,利用集合之间的覆盖关系(如粗糙集方法、覆盖正例排斥反例的AQ11方法),或计算数据项在整个集合中所占的比例(如关联规则挖掘方法);
3. 仿生物技术,把生物体的运转过程转换成数学模型,再用数学模型去解决现实世界的非生物问题,如神经网络、遗传算法等
4. 人工智能技术,主要是利用启发式搜索方法,如公式发现的BACOM、FDD等方法
5. 可视化技术,主要是利用图形显示技术
###归纳学习的信息论方法
归纳学习方法是目前重点研究的方向,研究成果角落。从采用的技术上看,分为两大类:信息论方法(这也是常说的决策树方法)和集合论方法。每类方法又包含多个具体方法。
信息论方法是利用信息论的原理建立决策树。由于该方法最后获得的知识表示形式是决策树,因此一般文献中称它为决策树方法。该类方法的实用效果好,影响较大。
信心轮方法中较有特色的方法有以下几种。
####1. ID3等方法(决策树方法)
Quiulan研制的ID3方法是利用信息论中互相信息(Quiulan称为