决策树、GDBT、Xgboost、LightGBM

决策树

决策树的学习通常包含3个步骤：特征选择、决策树的生成、决策树的修剪

决策树算法通常是递归地选择最优特征，并根据该特征对训练数据进行分割。

特征选择

选取对训练数据具有分类能力的特征。通常的准则是信息增益或者信息增益比。信息增益越大，表示该特征不确定性越强，越适合作为特征进行特征分类。

决策树的裁剪

决策树生成算法递归地选取最优特征产生决策树，知道不能继续下去为止。但是这样容易产生过拟合。

在决策树学习中将已生成的树进行简化的过程称为剪枝。

决策树的剪枝通常使用极小化决策树整体的损失函数或代价函数来实现。

分类回归树CART

CART算法由以下两步组成：

1. 决策树生成：基于训练数据生成决策树，生成的决策树要尽量大
2. 决策树剪枝：用验证集对生成树进行剪枝并选择最优子树

采用加法模型与前向分布算法，以决策树为基函数的提升方法称为提升树

加法模型的思想是：每次学习一点，然后一点点的接近最终的预测值(深度学习里梯度的概念)

GBDT

对于一般的损失函数，一步步的优化是不容易的，这是需要梯度提升算法。这是利用最速下降法，关键是利用损失函数的负梯度方向在当前模型的值作为回归提升树的残差近似值去拟合一个回归树。

GBDT与xgboost对比

1. 传统GBDT以CART作为基分类器，xgboost还支持线性分类器
2. GDBT优化时只用到了一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶

lightGBM和xgboost

xgboost采用的是level-wise的分裂策略，而lightGBM采用了leaf-wise的策略

lightGBM在featureparallel和data parallel等方面做了并行