1、决策树(decision tree)
定义:决策树是一个类似于流程图的树结构,其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布,树的最顶层是根结点。
如:
2、决策树归纳算法(ID3)
选择属性判断结点:信息获取量(information Gain)可由信息熵计算Gain(A)=info(D)-info_A(D)
Gain(age)=0.246 ; Gain(student)=0.151 ; Gain(income)=0.029 ; Gain(credit_rating)=0.048
所以选择age作为第一个根结点,得到:
再重复上诉操作,选择下一个结点.......................