决策树

1、决策树（decision tree）

定义：决策树是一个类似于流程图的树结构，其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布，树的最顶层是根结点。

如：

2、决策树归纳算法（ID3）

选择属性判断结点：信息获取量（information Gain）可由信息熵计算Gain（A）=info（D）-info_A(D)

Gain(age)=0.246 ; Gain(student)=0.151 ; Gain(income)=0.029 ; Gain(credit_rating)=0.048 

所以选择age作为第一个根结点，得到：

再重复上诉操作，选择下一个结点.......................