这一篇开始进入另一种非常重要的算法--决策树,不仅仅是因为这个算法本身重要,而且由它引申出来的众多集成学习算法更加重要。决策树不仅能处理分类问题(而且支持多分类),还能处理回归问题,对应地称为分类决策树和回归决策树,本文以分类问题为例进行总结。决策树模型是基于特征对实例进行分类的,决策树的模型训练就是构建一棵决策树的过程。决策树的构建过程如下所示:
1、特征选择。
2、决策树生成。
3、决策树剪枝。
上述三个步骤是建立决策树模型的通用步骤,根据特征选择的标准不同,划分为三种不同的决策树构建过程:
(一)ID3
ID3采用信息增益来挑选特征。ID3算法如下:
(二)C4.5
C4.5采用信息增益比来挑选特征。C4.5算法如下:
(三)CART
CART采用基尼系数来挑选特征。CART算法如下: