gbdt:从残差的角度 Adaboost:从数据角度 xboost: 和gbdt原理差不多,差别如下: 基学习器的选择:XGBoost 支持除了决策树之外的其余分类器,而 GBDT 等只用决策树导数信息:对损失函数进行了二阶导的展开,相对GBDT的一阶导展开更加的精确正则化:目标函数中显示的正则化项,防止过拟合效果比较好