决策树

1. 决策树的算法有哪些？

ID3算法使用了信息增益来选择特征，信息增益大的优先选择。

在ID3算法中，显然属性的取值越多，信息增益越大。为了避免属性取值个数的影响， C4.5算法用信息增益率（信息增益除以划分前熵）最高的分类作为选择特征规则。

无论是ID3还是C4.5，会涉及大量的对数运算。CART算法使用基尼指数最小的分类作为选择特征的规则。基尼指数的意义是：从数据集D中随机抽取两个样本，其类别不同的概率。基尼指数越小，则数据集D的纯度越高。

2. 剪枝

预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化能力（在训练时加入验证集随时进行泛化验证）的提升，则停止划分并将当前结点标记为叶节点；后剪枝则是先从训练集中生成一颗完整的树，然后自底向上对非叶节点进行考察，若该节点对应的子树替换为叶节点能够提升泛化能力，则进行剪枝将该子树替换为叶节点，否则不剪枝。