决策树和基于决策树的集成方法（DT,RF,GBDT,XGB）复习总结

摘要：

　　1.算法概述

　　2.算法推导

　　3.算法特性及优缺点

　　4.注意事项

　　5.实现和具体例子

内容：

1.算法概述

　　1.1 决策树（DT）是一种基本的分类和回归方法。在分类问题中它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，学习思想包括ID3,C4.5,CART（摘自《统计学习方法》）。

　　1.2 Bagging :基于数据随机重抽样的集成方法（Ensemble methods），也称为自举汇聚法（boostrap aggregating）,整个数据集是通过在原始数据集中随机选择一个样本进行替换得到的。进而得到S个基预测器（ base estimators），选择estimators投票最多的类别作为分类结果，estimators的平均值作为回归结果。（摘自《统计学习方法》和scikit集成方法介绍）

　　1.3 随机森林（RF）：基于boostrap重抽样和随机选取最优特征，基预测器是决策树的集成方法（Ensemble methods）

　　1.4 Boosting :通过改变样本的权重（误分样本权重扩大）学习多个基预测器，并将这些预测器进行线性组合的集成方法 （摘自《统计学习方法》）

　　1.5 梯度提升决策树（GBDT）:基于boosting方法，基预测器是决策树的集成方法（Ensemble methods）

　　1.6 XGBDT:基于GBDT的一种升级版本，主要改进是使用了正则化和特征