ID3决策树
ID3算法缺点:
- 对于具有很多值的属性它是非常敏感的,例如,如果我们数据集中的某个属性值对不同的样本基本上是不相同的,甚至更极端点,对于每个样本都是唯一的,如果我们用这个属性来划分数据集,它会得到很大的信息增益,但是,这样的结果并不是我们想要的。
- ID3算法不能处理具有连续值的属性。
- ID3算法不能处理属性具有缺失值的样本。
- 由于按照上面的算法会生成很深的树,所有容易产生过拟合现象。
C4.5算法
C4.5算法相对于ID3算法主要有以下几个改进:
- 用信息增益比来选择属性
- 在决策树的构造过程中对树进行剪枝
- 对非离散数据也能处理
- 能够对不完整数据进行处理
C5.0算法
C5.0算法相对于ID3算法主要有以下几个改进:
- 速度更快
- 更高效的内存使用
- 建立的决策树更小,C5.0获得的结果与C4.5非常相似,但构建了相当小的决策树。
- 类似的精度:C5.0获得与C4.5类似的精度。
- Boosting支持:提升可以使决策树更准确。
- 加权:使用C5.0,您可以加权不同的属性和错误分类类型。C5.0可以构建分类器,以最大限度地减少预期的错误分类成本而不是错误率。
- 风选:为了帮助降低噪音,C5.0会自动获取数据。风选是指在分类之前检查属性,忽略它找到的属性只是略微相关。
CART算法
- CART与C4.5算法是非