决策树算法理论知识

决策树算法

决策树定义：

• 是一种树形结构，
• 本质是一颗由多个判断节点组成的树

1 常见决策树的启发函数比较

名称	提出时间	分支方式	备注
ID3	1975	信息增益	ID3只能对离散属性的数据集构成决策树
C4.5	1993	信息增益率	优化后解决了ID3分支过程中总喜欢偏向选择值较多的 属性
CART	1984	Gini系数	可以进行分类和回归，可以处理离散属性，也可以处理连续属性

2 ID3 算法

存在的缺点

(1) ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息.

(2) ID3算法只能对描述属性为离散型属性的数据集构造决策树。

3 C4.5算法