GBDT,XGboost

GBDT 又叫梯度提升树,是通过采用加法模型(基函数的线性组合),以及不断减小训练过程的残差来进行预测(分类回归)的算法.

三个主要概念:	
GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量
	
1. GB就是梯度迭代,在每一轮迭代中,首先计算出当前模型在所有样本上的负梯度(残差),然后以该值为目标训练一个新的弱分类器进行拟合,
并计算出该弱分类器的权重,最终实现对模型的更新.

2. DT:决策树,GBDT里使用的基分类器是决策树,而且用的都是CART回归树,无论处理回归问题还是分类问题用的都是CART回归树,不用分类树是
因为每次迭代要拟合的是一个连续的梯度值,而且GBDT的核心在于累加所有树的预测结果作为最终结果,而分类树的结果显然是没办法累加的,所
以要用回归树.
	
(回归树:对于回归树算法来说最重要的是寻找最佳分割点,那么如何去寻找,采用MSE(均方误差) = 1/n ∑(y^ - y)²)

3.Shrinkage:GBDT里面用到了学习率，是Shrinkage的一个思想，如果每次都全部加上很容易一步学到位导致过拟合,所以基于Shrinkage的思
想，为每棵树设置了一个权重，累加的时候要乘上这个权重，主要是为了削弱每棵树的影响，让后面有更大的学习间。