决策树

1.常见的决策树有哪些？
2.各自的特点？
3.剪枝怎么实现？

在线公式编辑：https://codecogs.com/latex/eqneditor.php
信息熵计算:https://blog.csdn.net/memray/article/details/44351913

1.常见的决策树有：ID3，C4.5，CADT.

ID3：

ID3的节点选择采用的是信息增益，信息增益是衡量信息熵降低的大小。
1)经验熵公式计算：

Ck是样本集合D中属于第k类的样本子集，|Ck|表示该子集的元素个数，|D|表示样本集合元素的个数。
2) 然后计算某个特征A对于数据集D的经验条件熵H(D|A):
对于一个某一特征，如果只有一个类别属性，则该信息熵为0.

3）则可求从A节点划分的信息增益为：
g(D,A) = H(D) - H(D|A)

C4.5

依靠信息增益比来选择划分特征：

其中：

称为数据集D关于A的取值熵。

CART

CART的特征选择采用，基尼指数（Gini）.首先需要知晓的是，CART是一颗二叉树，既能做分类树也能做回归树。CART能处理连续型变量（用的是二值划分），包括有缺失值的情况。同时，如果在用于回归树时，使用的时最小平方误差的准则。
基尼指数的定义：

特征A的基尼指数的定义为：

---

3. 剪枝
   1）一颗完全生长的决策树会面临过拟合的问题，因此需要剪枝提高泛化能力。
   2）剪枝有两种方式，预剪枝和后剪枝。首先，预剪枝是在树生长的过程中提前停止生长，而后剪枝是在已经生成过拟合的决策树上进行剪枝。
   3）预剪枝，是先计算当前的划分是否能带来模型泛化能力的提升。预剪枝对于何时停止决策树的生长：
   （i）当属达到一定深度时停止。
   （ii）当到达节点的样本数量小于一个阈值时，停止向下生长。
   （iii)计算每次分裂对测试准确度的提升，当小于某一阈值时，停止生长。
   缺点：可能导致欠拟合的风险。可能某些节点的划分对测试集帮助不大，但是在之后的划分时，准确率增大。
   4）后剪枝：通过在测试集的准确率的表现。来判断是否在此处进行剪枝。相对于预剪枝，后剪枝得到的决策树泛化能力更强，但是开销更大。