gbdt梯度提升树到底是拟合的是什么?
gbdt通过每一轮迭代,降低输出概率值(或者回归连续值)和真实值之间产生的loss, 即通过loss降低的梯度方向进行梯度下降,从而降低loss。
针对回归只是一个特殊情况即拟合梯度下降的方向正好是残差。拟合残差并不是通用的说法,拟合loss,找到梯度下降的方向,降低loss才是本质。
误差:bias+variance+噪声
bias vs variance
bagging:主要是通过随机样本采样,来降低方差,提升模型的泛化能力从而降低误差
boost:主要是为了拟合误差,降低bias,同时一定程度的样本和特征列的采样,也降低了variance