adaboost和GBDT

        adaboost提高那些被前一轮分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮的弱分类器的更大关注。第二，adaboost采取加权多数表决的方法，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

 

GBDT中的DT是回归决策树，而不是分类决策树，基于回归决策树所得到的数值进行加减是有意义的。（例如10岁+5岁=15岁，而分类树中的男+女没有意义）

回归树中灭有选用最大熵值作为划分标准，而是使用了最小化均方差。

 

GBDT的核心就是每一棵树所学习的是之前所有树的结论和残差。

举一个简单的例子，同样使用年龄进行分枝，假设我们A的真实年龄是18岁，但第一棵树的预测年龄是12岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄；如果第二棵树的结论是5岁，则A仍然存在1岁的残差，第三棵树里A的年龄就变成1岁……以此类推学习下去，这就是梯度提升在GBDT算法中的直观意义。

XGboost是一个大规模，分布式的通用GBDT库。