【Machine learning】决策树（decision tree ）

三个问题：

1. 怎样选择根节点
2. 怎样选择后继节点
3. 什么时候停止

（一颗决策树=》一个分类准则=》一个模型）

 

基本的算法：

 

 

对一开始提出来的三个问题进行解答：

 

1.选择最优属性

ID3:

• 最优属性选择信息增益最大的属性来作为最优属性
• 设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为：
•   其中pi表示第i个类别