集成学习-树模型

可以分为三部分学习树模型：

1. 基本树（包括 ID3、C4.5、CART）.
2. Random Forest、Adaboost、GBDT
3. Xgboost 和 LightGBM。

基本树

选择特征的准则

ID3：信息增益max

C4.5：信息增益比max

CART：基尼指数min

优缺点

ID3

核心思想是奥卡姆剃刀（决策树小优于大）

缺点：

• ID3 没有剪枝策略，容易过拟合；
• 信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征其信息增益接近于 1；
• 只能用于处理离散分布的特征；
• 没有考虑缺失值。

C4.5

有剪枝策略。最大的特点是克服了 ID3 对特征数目的偏重这一缺点，引入信息增益率来作为分类标准。

缺点：

• C4.5 只能用于分类；
• C4.5 使用的熵模型拥有大量耗时的对数运算，连续值还有排序运算；
• C4.5 在构造树的过程中，对数值属性值需要按照其大小进行排序，从中选择一个分割点，所以只适合于能够驻留于内存的数据集，当训练集大得无法在