树（ID3，C4.5，CART，信息增益，信息增益比，基尼指数）

ID3：

离散特征（标称型数据）、贪心算法、信息增益、特征所有取值切分（非二分）

缺点：有偏向问题，过拟合，只能离散型数据

C4.5：

离散/连续特征（对连续属性扫描排序，设定阈值，二分样本）、信息增益比（引入分裂信息(Split information)的项来惩罚取值较多的Feature）、可剪枝（合并叶节点）、可处理缺失值（可参考缺失值处理）

CART：

分类回归树、二元切分、节点分裂可用各种

回归树：

每个节点有个预测值（下属点所有值平均值），依据最小化均方误差寻找最优特征

提升树：

以残差（真实值-预测值）为样本拟合回归树，提升树预测值等于所有树累加和。

寻找分割点的标准：最小化均方差

GBDT梯度提升决策树：

用一阶导数拟合残差