数据挖掘导论-分类

分类 ，classification，分类任务就是通过学习得到一个目标函数（target function），把每个属性集x映射到一个预先定义的类标号y。

目标函数也称为分类模型（classification model）

决策树，decistion tree

1.概念

决策树是一种由节点和有向边组成的层次结构，树中包含三类节点

（1）根节点，root node ，没有入边，但有0条或者多条出边

（2）内部节点，internal node，恰有1条入边和两条或者多条出边

（3）叶结点，leaf node，或终结点 terminal node ，恰有一条入边，但没有出边

 

在决策树中。每个叶结点都赋予一个类标号，非终结点包含属性测试条件，用以分开不同特征的记录。

 

2.如何建立决策树

原则上讲，对于给定的属性集，可以构造的决策数目达指数级。通常采用贪心策略来构造次最优决策树，在选择划分数据的属性时，采取一系列局部最优决策来构造决策树。Hunt算法为例。Hunt算法是很多决策树算法基础，包括ID3/C4.5和CART.