GBDT和随机森林的异同点及GBDT的优缺点

GBDT和随机森林的异同点

• 相同点：

  • 都是由多棵树构成，最终的结果也是由多棵树决定。

• 不同点：

  • 随机森林可以由分类树和回归树组成，GBDT只能由回归树组成。
  • 随机森林的树可以并行生成，而GBDT只能串行生成，所以随机森林的训练速度相对较快。
  • 随机森林关注减小模型的方差，GBDT关注减小模型的偏差。
  • 随机森林对异常值不敏感，GBDT对异常值非常敏感。
  • 随机森林最终的结果是多数投票或简单平均，而GBDT是加权累计起来。

GBDT的优缺点

• 优点：
  • GBDT每一次的残差计算都增大了分错样本的权重，而分对的权重都趋近于0，因此泛化性能比较好。
  • 可以灵活的处理各种类型的数据。
  • 预测精度高
• 缺点：
  • 对异常值比较敏感。
  • 由于分类器之间存在依赖关系，所以很难进行并行计算。