决策树

看了网上的一些资料和例子

1.决策树的基本流程

2.决策树的属性划分选择

以下几种指标与属性分支的纯度有关

ID3：信息增益

C4.5：信息增益率

CART：基尼指数

3.剪枝处理

  是决策树对付“过拟合”的主要手段；

  先剪枝：决策树生成过程中，对每个节点划分前先进行估计，看当前划分的节点能否带来泛化性能提升。

  后剪枝：先生成一颗完整的树，自底向上对飞叶节点进行考察。

4.关于连续属性的处理

 二分，选择信息增益最大的为划分点

5.随机森林:算法原理与程序

6.GBT：算法原理与程序