树模型算法

一、决策树

ID3.0：利用信息增益选择根节点和叶子节点

C4.5：利用信息增益率选择根节点和叶子节点

CART：利用基尼系数选择根节点和叶子节点

二、随机森林

随机森林是一个包含多个决策树的分类器（决策树+bagging思想）

分类：最终结果由所有决策树输出类别的众数而定，即“少数服从多数原则”

回归：最终结果由所有决策树输出平均值 

三、GBDT

算法由多棵决策树组成，所有树的结论累加起来做最终结果（决策树+boosting思想）

优点

1.预测精度高

2.适合低维数据

3.能处理非线性数据

4.可以灵活处理各种类型的数据，包括连续值和离散值

5.在相对少的调参时间情况下，预测的准确率也可以比较高

缺点

1.由于弱学习器之间存在依赖关系，难以并行训练数据，不过可以通过自采样的SGBT来达到部分并行

2.如果数据维度较高时会加大算法的计算复杂度

四、XGBoost

算法核心是不断的添加树，不断地进行特征分裂来生长一棵树，每添加一个树，其实是学习一个新函数，去拟合上次预测的残差（决策树+boosting思想）