GBDT-为什么 GBDT 优于随机森林和决策树

首先要理解的是决策树、随机森林和 GBDT 的偏差都不大。决策树和 bagging 是因为决策树模型本身的学习能力足够，所以偏差不大；GBDT 是通过不断拟合伪残差来一步步的减小偏差。因此对于偏差，三者差距不大

但是对于方差，相比于决策树，随机森林通过弱评估器的独立性降低方差，这个独立性一般是通过对样本有放回的随机抽样或者对特征的随机抽样达到的，但即使这么做，不同的树之间的相关系数依旧会较大（这是相对于 GBDT 的），所以只是降低了一部分的方差；对于 GBDT，也需要降低方差，由于 GBDT 通过不断拟合 $(x$