模型算法_机器学习经典算法之 树模型

树模型包括哪些？

单棵树：决策树

多棵树：随机森林、boost树

Bagging集成方法，代表算法：随机森林

适用的弱模型多是不稳定的模型，即对数据相对更加敏感的模型

利用多棵树对样本进行训练并预测的一种分类器。随机森林的随机不仅体现在数据的随机抽样，还体现在决策树构造过程中特征选择候选集的随机抽样

Boosting集成方法，代表算法：GBDT，

适用于相对较简单的模型

利用对损失函数进行求导，求极值的方式来做判断。

xgb里的树分类器涉及到哪些？

树模型：gbtree、dart

线性模型：gblinear

决策树有哪些常用的启发函数？

ID3 最大信息增益

C4.5 最大信息增益比

CART 最大基尼指数（Gini）

如何对决策树进行剪枝？

预剪枝（Pre-Pruning）和后剪枝（Post-Pruning）

预剪枝，即在生成决策树的过程中提前停止树的增长。

（1）当树到达一定深度的时候，停止树的生长。

（2）当到达当前结点的样本数量小于某个阈值的时候，停止树的生长。

（3）计算每次分裂对测试集的准确度提升，当小于某个阈值的时候，不再继续扩展。

后剪枝，是在已生成的过拟合决策树上进行剪枝，得到简化版的剪枝决策树。