算法工程师-机器学习集成学习

集成学习

集成算法 = 多个学习器 + 结合策略——>强学习器。单个学习器难以平衡准确性(拟合能力)，和多样性(泛化能力)。通过集成可以尽量平衡这两者的关系。如果多个学习器是一样的，如都是决策树，该集成就是同质集成，否者就是异质集成。

同质集成中，每个单学习器称为弱学习器，如果若学习器之间的产生没有关系，可以并行实现，就是Bagging，如果弱学习器之间存在强依赖关系，就需要串行实现，如Boosting

1. 方差和偏差

对于特定的带有真实结果y的数据集D，每个模型的训练结果为 f(X;D)，预测结果平均值为：
$\bar{f}(X)=E[f(x;D)]$

• 偏差是整体模型预测结果和真实值之间的差距: 一般用来表示模型的预测能力：
  $bias=f(X;D)-y$

• 方差表示的是整体预测结果和每个模型预测结果之间的波动情况(平方和的平均值)，一般用来表示模型的泛化能力:
  $variance=E[(f(x;D)-\bar{f}(X){)}^2]$

• 模型的期望泛化误差
  泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型具有更小的泛化误差，那么这种方法就是有效。
  $E[(f(x;D)-y{)}^2]=E[(f(x;D)-\bar{f}(X)+\bar{f}(X)-y{)}^2]=E[(\bar{f}(X)-y{)}^2]+E[(\bar{f}(X)-f(x;D){)}^2]=bia{s}^2+variances$
  $E[(f(x;D)-\bar{f}(X))(\bar{f}(X)-y)]=0$ 的原因为$E[(f(x;D)-\bar{f}(X))]=0$，但其平方的期望不为0

一般情况下，模型简单，偏差大，方差小。 模型复杂，偏差小方差大。
对于方差大的模型，可以利用统计思想，采用n次独立同分布的重复实验，使得方差变为原来单次方差的n分之一
方差的平方根为标准差

2. Bagging

随机采样选取一部分的数据进行操作，Bagging算法就是利用这样的思想
数据选择： Bootstraping，即有放回的随机采样

• 方差和偏差：
  • 假设单模型的偏差近似是u，那么最终偏差依然是u(随机性可能使得偏差略微增加)，因此一般在该方法中，弱学习器一般选择偏差较低的弱学习器，即复杂模型，所以在这个过程中一般不进行剪枝操作。
  • 方差在每次都是独立同分布的实验时是单模型的n分之一，但是受到数据量的限制，采用有放回的采样，即每次采样的数据可能有重复，假设数据相关性 $\rho$，则此时的方差，相关性越接近1，结果越接近单个模型的方差，相关性越接近0，整体的方差越小。所以这里也体现出，数据量的增多会(单个模型数量)增加模型的泛化能力。但是会有一个极限值$\rho {\sigma }^2$(协方差)
    $Var(\frac{1}{n}{\sum }_{i=1}^n{X}_i)=\frac{{\sigma }^2}{n}+\frac{\rho {\sigma }^2}{n}(n-1)$
• 假设一共有m个数据，每个数据被抽到的概率为1/m，则没被抽到的概率就是1 - 1/m， 进行了m次抽取都没抽到的概率为 $(1-\frac{1}{m}{)}^m$，当m足够大的时候，极限可得$li{m}_{\infty }(1-\frac{1}{m}{)}^m=0.368$，表明在样本足够多的情况下，会有36.8%的数据没有被抽取到，这部分数据叫袋外数据，可以用来测试模型。
• 优点：降低方差，可以并行实现效率高于其他集成算法，但低于单个模型，有36.8%的测试数据，对异常点的敏感性降低，省略了交叉验证过程。
• 缺点：黑盒子；数据量少时提升效果不明显，效率差。

2.1 随机森林

2.1.1 优点

1. 可以并行处理
2. 可以估计特征的重要性
3. 模型方差，偏差均比较小
4. 可以有效地处理缺失数据，有良好的抗噪能力
5. 适用与数据集中存在大量未知特征
6. 算法直观容易理解
7. 模型泛化能力强
8. 随机森林能处理很高维度的数据（也就是很多特征的数据），并且不用做特征选择
9. 对于不平衡数据集来说，随机森林可以平衡误差。当存在分类不平衡的情况时，随机森林能提供平衡数据集误差的有效方法。（对正类和反类分别进行重采样或欠采样, 之后采用多数投票的方法进行集成学习。或者不做采样，调整类别的判定阈值)。
10. 随机森林能够解决分类与回归两种类型的问题，并在这两方面都有相当好的估计表现

2.1.2 缺点

1. 随机森林在解决回归问题时，并没有像它在分类中表现的那么好，这是因为它并不能给出一个连续的输出。当进行回归时，随机森林不能够做出超越训练集数据范围的预测，这可能导致在某些特定噪声的数据进行建模时出现过度拟合。(PS:随机森林已经被证明在某些噪音较大的分类或者回归问题上回过拟合)
2. 随机森林只能在不同的参数和随机种子之间进行，有点像黑盒子。
3. 有相似的决策树出现会使得真实的结果不够准确
4. 对于小数据或者低维数据(特征较少的数据)，可能不能产生很好的分类。(处理高维数据，处理特征遗失数据，处理不平衡数据是随机森林的长处)，特征太少容易重复，带来3中的问题
5. 执行数据虽然比boosting等快，但精度一般不如boosting方法。

2.1.3 随机森林原理

随机森林其实很简单，就是在bagging策略上略微改动了一下。

1. 从N个样本中有放回的随机抽样n个样本。
2. 如果每个样本的特征维度为M，指定一个常数m<M，随机地从M个特征中选取m个特征子集，每次树(ID3,C4.5,CART(信息增益，信息增益比率，基尼系数)）进行分裂时，从这m个特征中选择最优的；
3. 每棵树都尽最大程度的生长，并且没有剪枝过程。
4. 最后采用投票表决的方式进行分类。

2.1.4 特征m个数的选取：

1. 用作分类时，m默认取$\sqrt{M}$，最小取1.
2. 用作回归时，m默认取M/3，最小取5.
3. 两个随机性的引入对随机森林的分类性能至关重要。由于它们的引入，使得随机森林不容易陷入过拟合，并且具有很好得抗噪能力（比如：对缺省值不敏感）。

2.1.5 随机森林分类效果（错误率）与两个因素有关：

1. 森林中任意两棵树的相关性：相关性越大，错误率越大；
2. 森林中每棵树的分类能力：每棵树的分类能力越强，整个森林的错误率越低。
   　　减小特征选择个数m，树的相关性和分类能力也会相应的降低；增大m，两者也会随之增大。所以关键问题是如何选择最优的m（或者是范围），这也是随机森林唯一的一个参数。

OOB（Out Of Bag）袋外错误率
在bootstrapping的过程中，有些数据可能没有被选择，这些数据称为out-of-bag(OOB) examples。

2.1.6 特征重要性度量

1. 对整个随机森林，得到相应的袋外数据（out of bag，OOB）​计算袋外数据误差，记为errOOB1.
2. 随机对袋外数据OOB所有样本的特征X加入噪声干扰（可以随机改变样本在特征X处的值），再次计算袋外数据误差，记为errOOB2。
3. 假设森林中有N棵树，则特征X的重要性=（∑errOOB2−errOOB1）/N。这个数值之所以能够说明特征的重要性是因为，如果加入随机噪声后，袋外数据准确率大幅度下降（即errOOB2上升），说明这个特征对于样本的预测结果有很大影响，进而说明重要程度比较高。

2.1.7 特征选择

在特征重要性的基础上，特征选择的步骤如下：

1. 计算每个特征的重要性，并按降序排序
2. 确定要剔除的比例，依据特征重要性剔除相应比例的特征，得到一个新的特征集
3. 用新的特征集重复上述过程，直到剩下m个特征（m为提前设定的值）。
4. 根据上述过程中得到的各个特征集和特征集对应的袋外误差率，选择袋外误差率最低的特征集。

3 Boosting

3.1 Adaboost

3.1.1 原理

1. 初始化训练数据的权值分布。开始时，权重都赋予一样；
2. 训练弱分类器。如果某个样本正确分类，那么其在下一次的分类过程中的权值会被降低，反之则会升高；
3. 组合成强分类器，增大分类效果好的分类器占的权重，降低分类效果差的分类器占的权重。3

3.1.2 详细步骤

1. 训练集：(x1, y1), (x2, y2),…, (xn, yn)；刚开始每个样本都赋予一个等值的权重1/n;
2. 1). 初始化训练样本的权值分布，每个训练样本的权值相同
   2). 初始时训练集的在第k个弱学习器的输出同
   3). 进行多轮迭代，产生T个弱分类器。
   每轮迭代，使用权值分布 D(t) 的训练集进行训练，得到一个弱分类器，计算其分类的错误率(其实就是被 Gt(x) 误分类样本的权值之和)：e = 错误分类 / 样本数，根据得到的错误率可以计算这个分类器在最终的分类中占的权重：a = 1/2 * ln((1-e) / e)；
3. 更新训练数据集的权值分布，用于下一轮(t + 1)迭代
   $D(t+1)=(w_{t+1,1},w_{t+1,2},...,w_{t+1,m})$
   for i = 1, … , m：
   
4. 集成 T 个弱分类器为1个最终的强分类器：通过分类器的加权投票做出最终决策。

3.1.3 训练过程中，每轮训练一直存在分类错误的问题，整个Adaboost却能快速收敛，为何？

每轮训练结束后，AdaBoost 会对样本的权重进行调整，调整的结果是越到后面被错误分类的样本权重会越高。而后面的分类器为了达到较低的带权分类误差，会把样本权重高的样本分类正确。这样造成的结果是，虽然每个弱分类器可能都有分错的样本，然而整个 AdaBoost 却能保证对每个样本进行正确分类，从而实现快速收敛。

3.1.4 优点

1. Adaboost是一种有很高精度的分类器
2. 简单，不用做特征筛选
3. 不用担心过拟合(集成学习的方法一般都不容易过拟合（并不是不会过拟合)，方差较小，因为组合的原因，只是表现得不是特别严重（比如没有决策树恶化的那么厉害）。在实践中，adaboost的泛化性能远没有svm好。因此，在不需要处理大量feature（比如不需要进行特征选择），对运行速度要求不是特别高（非线性svm的使用速度很慢），对模型大小要求不是很高（svm的非线性模型在feature维度高时模型往往很大）等情况下，建议先考虑svm。adaboost能得到的结论是不断增加弱分类器，训练误差的上界会不断下降，这个是能直接推导得到的结论。)
4. 当使用简单分类器时，计算出的结果是可以理解的。而且弱分类器构造极其简单，可解释性强，易于理解
5. 最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，可以深挖分类器的能力。Adaboost可以根据弱分类器的反馈，自适应地调整假定的错误率，执行的效率高
6. Adaboost对同一个训练样本集训练不同的弱分类器，按照一定的方法把这些弱分类器集合起来，构造一个分类能力很强的强分类器，即“三个臭皮匠赛过一个诸葛亮”。
7. 充分考虑每个分类器的权重

3.1.5 缺点

1. AdaBoost迭代次数也就是弱分类器数目不太好设定，可以使用交叉验证来进行确定
2. 对数据不平衡的导致分类精度下降
3. 训练比较耗时，每次重新选择当前分类器最好切分点；
4. daboost会使得难于分类样本的权值呈指数增长，训练将会过于偏向这类困难的样本，导致Adaboost算法易受噪声干扰

3.2 GBDT

参考来源
https://blog.csdn.net/qq_17677907/article/details/88318021
https://www.cnblogs.com/ModifyRong/p/7744987.html

3.2.1 简介

gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一
GBDT 是通过采用加法模型(即基函数的线性组合)，以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。

有以下几个优点

1. 效果确实挺不错。
2. 即可以用于分类也可以用于回归。
3. 可以筛选特征(树形结构的模型对筛选特征都有一定的能力)。

3.2.2 正式介绍

1. Gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度，(此处是可以证明的)。
2. 弱分类器一般会选择为CART TREE**(也就是分类回归树)**。由于上述高偏差和简单的要求，每个分类回归树的深度不会很深(否则就是高方差低偏差了)。最终的总分类器是将每轮训练得到的弱分类器加权求和得到的(也就是加法模型)。
3. 模型最终可以描述为：
   $F_m(x)={\sum }_{m=1}^{M}T(x;{\theta }_m)$
4. 模型一共训练M轮，每轮产生一个弱分类器 T(x;θm)。弱分类器的损失函数，${\theta }^m=\underset{\theta m}{\underbrace{argmin}}{\sum }_{i=1}^{N}L(y_i,F_{m-1}(x_i)+T(x_i;{\theta }_m))$，$F_{m-1}(x)$为之前的模型(输出和，所有模型合起来是一个整的模型),，$XT(x_i;{\theta }_m))$为当前迭代要输出的弱分类器。

3.2.2.1 损失函数

${\theta }^m=\underset{\theta m}{\underbrace{argmin}}{\sum }_{i=1}^{N}L(y_i,F_{m-1}(x_i)+T(x_i;{\theta }_m))$
gbdt 通过经验风险极小化来确定下一个弱分类器的参数。具体到损失函数本身的选择也就是L的选择，有平方损失函数，0-1损失函数，对数损失函数等等。

问题是：

• 是希望损失函数能够不断的减小，
• 是希望损失函数能够尽可能快的减小。

解决方法

• 让损失函数沿着梯度方向的下降。这个就是GBDT的GB的核心了。
• 利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值去拟合一个回归树。
• GBDT每轮迭代的时候，都去拟合损失函数在当前模型下的负梯度。
• 这样每轮训练的时候都能够让损失函数尽可能快的减小，尽快的收敛达到局部最优解或者全局最优解。
• 第二轮的数据变为每个变量的损失的负梯度。

3.2.3 gbdt 如何选择特征 ？

gbdt选择特征的细节其实是想问你CART Tree生成的过程。
gbdt的弱分类器默认选择的是CART TREE。

(适用基尼系数)CART TREE 生成的过程其实就是一个选择特征的过程。假设我们目前总共有 M 个特征。第一步我们需要从中选择出一个特征 j，做为二叉树的第一个节点。然后对特征 j 的值选择一个切分点 m， 一个样本的特征j的值如果小于m，则分为一类，如果大于m，则分为另外一类。如此便构建了CART 树的一个节点。其他节点的生成过程和这个是一样的。

3.2.4 gbdt如何用于分类

残差是指与总值的残差，不是每一轮的。。
首先明确一点，gbdt 无论用于分类还是回归一直都是使用的CART 回归树。这里面的核心是因为GBDT 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候，弱分类器的输出的结果相减是有意义的。残差相减是有意义的。而类别结果相减是无意义的，因此需要数值结果进行相减，所以使用CART 回归树。

• 具体到分类这个任务上面来，我们假设样本 X 总共有 K类。来了一个样本 x，我们需要使用GBDT来判断 x 属于样本的哪一类。
• 第一步 我们在训练的时候，是针对样本 X 每个可能的类都训练一个分类回归树。举例说明，目前样本有三类，也就是 K = 3。样本x属于第二类。那么针对该样本 x 的分类结果，其实我们可以用一个三维向量 [0,1,0] 来表示。0表示样本不属于该类，1表示样本属于该类。由于样本已经属于第二类了，所以第二类对应的向量维度为1，其他位置为0。
• 针对样本有三类的情况，我们实质上是在每轮的训练的时候是同时训练三颗树。第一颗树针对样本x的第一类，输入为(x，0)。第二颗树输入针对 样本x 的第二类，输入为（x,1）。第三颗树针对样本x 的第三类，输入为(x，0)在这里每颗树的训练过程其实就是就是我们之前已经提到过的CATR TREE 的生成过程。在此处我们参照之前的生成树的程序 即可以就解出三颗树，以及三颗树对x 类别的预测值f1(x)，f2(x)，f3(x)。那么在此类训练中，我们仿照多分类的逻辑回归 ，使用softmax 来产生概率，则属于类别1的概率。$p_1=\frac{exp(f_1(x))}{{\sum }_{k=1}^{3}exp(f_k(x))}$，并且我们我们可以针对类别1，求出残差y11(x)=0−p1(x)，类别2求出残差y22(x) = 1−p2(x)，类别3求出残差y33(x)=0−p3(x).
• 然后开始第二轮训练，针对第一类输入为(x, $y_{11}$(x))，针对第二类输入为(x, $y_{22}$(x))，针对第三类输入为(x, $y_{33}$(x))，继续训练出三颗树。一直迭代M轮。每轮构建3颗树。
  
• 当训练完毕以后，新来一个样本 x1 ，我们需要预测该样本的类别的时候，便可以有这三个式子产生三个值，f1(x),f2(x),f3(x)。样本属于某个类别c的概率为$p_c=\frac{exp(f_c(x))}{{\sum }_{k=1}^{3}exp(f_k(x))}$

3.2.5 利用gbdt构建特征 ?

其实说gbdt 能够构建特征并非很准确，gbdt 本身是不能产生特征的，但是我们可以利用gbdt去产生特征的组合。例如逻辑回归本身是适合处理线性可分的数据，如果我们想让逻辑回归处理非线性的数据，其中一种方式便是组合不同特征，增强逻辑回归对非线性分布的拟合能力。

如图所示，我们 使用 GBDT 生成了两棵树，两颗树一共有五个叶子节点。我们将样本X输入到两颗树当中去，样本X落在了第一棵树的第二个叶子节点，第二颗树的第一个叶子节点，于是我们便可以依次构建一个五维的特征向量，每一个维度代表了一个叶子节点，样本落在这个叶子节点上面的话那么值为1，没有落在该叶子节点的话，那么值为0。于是对于该样本，我们可以得到一个向量[0,1,0,1,0] 作为该样本的组合特征，和原来的特征一起输入到逻辑回归当中进行训练。实验证明这样会得到比较显著的效果提升。

3.2.6 RF和GBDT的区别

1. RF属于bagging思想，而GBDT是boosting思想
2. 偏差-方差权衡：RF不断的降低模型的方差，而GBDT不断的降低模型的偏差
3. 训练样本：RF每次迭代的样本是从全部训练集中有放回抽样形成的，而GBDT每次使用全部样本
4. 并行性：RF的树可以并行生成，而GBDT只能顺序生成(需要等上一棵树完全生成)
5. 最终结果：RF最终是多棵树进行多数表决（回归问题是取平均），而GBDT是加权融合
6. 数据敏感性：RF对异常值不敏感，而GBDT对异常值比较敏感
7. 泛化能力：RF不易过拟合，而GBDT容易过拟合

3.3 XGBoost

参考来源
https://www.cnblogs.com/mantch/p/11164221.html
https://blog.csdn.net/qq_39303465/article/details/80965484
https://blog.csdn.net/qq_20412595/article/details/82621744
https://blog.csdn.net/v_JULY_v/article/details/81410574

3.3.1 简介

XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。说到XGBoost，不得不提GBDT，因为XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X(Extreme))GBoosted。包括前面说过，两者都是boosting方法。

3.3.2 相比GBDT的优化内容

XGBoost与GBDT除了上述三点的不同，XGBoost在实现时还做了许多优化：

1. 在寻找最佳分割点时，考虑传统的枚举每个特征的所有可能分割点的贪心法效率太低，xgboost实现了一种近似的算法。大致的思想是根据百分位法列举几个可能成为分割点的候选者，然后从候选者中根据上面求分割点的公式计算找出最佳的分割点。
2. xgboost考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率
3. 特征列排序后以块的形式存储在内存中，在迭代中可以重复使用；虽然boosting算法迭代必须串行，但是在处理每个特征列时可以做到并行。

3.3.3 目标函数

事实上，如果不考虑工程实现、解决问题上的一些差异，XGBoost与GBDT比较大的不同就是目标函数的定义。XGBoost的目标函数如下图所示。

其中：

1. 红色箭头所指向的L即为损失函数(比如平方损失函数：$l(y_i,y^i)=(y_i-y^i)2)$)
2. 红色方框所框起来的是正则项(包括L1正则、L2正则)
3. 红色圆圈所圈起来的为常数项
4. 对于f(x)，XGBoost利用泰勒展开三项，做一个近似。f(x)表示的是其中一颗回归树。

XGBoost的核心算法思想是：

1. 不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数f(x)，去拟合上次预测的残差。
2. 当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数
3. 最后只需要将每棵树对应的分数加起来就是该样本的预测值。

显然，我们的目标是要使得树群的预测值$y_i^1$尽量接近真实值$y_i$，而且有尽量大的泛化能力。类似之前GBDT的套路，XGBoost也是需要将多棵树的得分累加得到最终的预测得分(每一次迭代，都在现有树的基础上，增加一棵树去拟合前面树的预测结果与真实值之间的残差)。那么，我们如何选择每一轮加入什么f呢？答案是非常直接的，选取一个f来使得我们的目标函数尽量最大地降低。这里f可以使用泰勒展开公式近似。

3.3.4 正则项

XGBoost对树的复杂度包含了两个部分：

1. 一个是树里面叶子节点的个数T
2. 一个是树上叶子节点的得分w的L2模平方(对w进行L2正则化，相当于针对每个叶结点的得分增加L2平滑，目的是为了避免过拟合)

3.3.5 树的生长

1. 枚举法
2. 近似算法

3.3.6 如何停止树的循环生成

1. 当引入的分裂带来的增益小于设定阀值的时候，我们可以忽略掉这个分裂，所以并不是每一次分裂loss function整体都会增加的，有点预剪枝的意思，阈值参数为(即正则项里叶子节点数T的系数)；
2. 当树达到最大深度时则停止建立决策树，设置一个超参数max_depth，避免树太深导致学习局部样本，从而过拟合；
3. 样本权重和小于设定阈值时则停止建树。什么意思呢，即涉及到一个超参数-最小的样本权重和min_child_weight，和GBM的 min_child_leaf 参数类似，但不完全一样。大意就是一个叶子节点样本太少了，也终止同样是防止过拟合；

3.3.7 XGBoost与GBDT有什么不同

除了算法上与传统的GBDT有一些不同外，XGBoost还在工程实现上做了大量的优化。总的来说，两者之间的区别和联系可以总结成以下几个方面。

1. GBDT是机器学习算法，XGBoost是该算法的工程实现。
2. 在使用CART作为基分类器时，XGBoost显式地加入了正则项来控制模型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。
3. GBDT在模型训练时只使用了代价函数的一阶导数信息，XGBoost对代 价函数进行二阶泰勒展开，可以同时使用一阶和二阶导数。传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。为什么xgboost要用泰勒展开，优势在哪里？xgboost使用了一阶和二阶偏导, 二阶导数有利于梯度下降的更快更准. 使用泰勒展开取得函数做自变量的二阶导数形式, 可以在不选定损失函数具体形式的情况下, 仅仅依靠输入数据的值就可以进行叶子分裂优化计算, 本质上也就把损失函数的选取和模型算法优化/参数选择分开了. 这种去耦合增加了xgboost的适用性, 使得它按需选取损失函数, 可以用于分类, 也可以用于回归。
4. 传统的GBDT采用CART作为基分类器，XGBoost支持多种类型的基分类器，比如线性分类器。
5. 传统的GBDT在每轮迭代时使用全部的数据，XGBoost则采用了与随机森林相似的策略，支持对数据进行采样。
6. 传统的GBDT没有设计对缺失值进行处理，XGBoost能够自动学习出缺失值的处理策略。
7. 节点分裂的方式不同，gbdt是用的gini系数，xgboost是经过优化推导后的.
8. Xgboost 工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行
9. 并且XGBoost还支持自定义损失函数，只要损失函数一阶、二阶可导

3.3.8 XGBoost为什么快

1. 分块并行：训练前每个特征按特征值进行排序并存储为Block结构，后面查找特征分割点时重复使用，并且支持并行查找每个特征的分割点
2. 候选分位点：每个特征采用常数个分位点作为候选分割点
3. CPU cache 命中优化： 使用缓存预取的方法，对每个线程分配一个连续的buffer，读取每个block中样本的梯度信息并存入连续的Buffer中。
4. Block 处理优化：Block预先放入内存；Block按列进行解压缩；将Block划分到不同硬盘来提高吞吐

3.3.9 防止过拟合

XGBoost在设计时，为了防止过拟合做了很多优化，具体如下：

1. 目标函数添加正则项：叶子节点个数+叶子节点权重的L2正则化
2. 列抽样：训练的时候只用一部分特征（不考虑剩余的block块即可）
3. 子采样：每轮计算可以不使用全部样本，使算法更加保守