【机器学习】各种树算法的总结

这个总结主要为XGboost而写，而Boosting方法是集成学习的一种，所以在最开始有必要记录一下集成学习的概念。

集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，代表就是Boosting；以及个体学习器间不存在强依赖关系、可同时生成的并行化方法，代表是Bagging和Random Forest。

Boosting：不同的分类器是通过串行训练而获得的，每个新分类器都根据已训练的分类器的性能来进行训练。Boosting是通过关注被已有分类器错分的那些数据来获得新的分类器。 Boosting分类的结果是基于所有分类器的加权求和结果的，而Boosting中的分类器权重并不相等，每个权重代表对应的分类器在上一轮迭代中的成功度。

Bagging：可以简单的理解为：放回抽样，多数表决（分类）或简单平均（回归），同时Bagging的基学习器之间属于并列生成，不存在强依赖关系。 

 

 

1. CART树（ Classification And Regression Tree）

CART树是最典型的二叉决策树，是我们学校数据挖掘课上老师一定会推导的模型。CART的C和R分别代表它有分类和回归两种类型。

CART构建的核心过程一是分裂点依据什么来划分。CART分类树划分的依据是叶子节点的基尼系数；CART回归树划分的依据是分裂后的GINI_Gain，GINI_Gain应该是一种衡量预测误差的指标。剩下还有过拟合、剪枝等等细节&#x