2020集成学习面试问题总结

最新推荐文章于 2023-02-02 16:46:30 发布

RachAnne

最新推荐文章于 2023-02-02 16:46:30 发布

阅读量804

点赞数

文章标签：机器学习人工智能决策树深度学习

本文链接：https://blog.csdn.net/Rachanne/article/details/107064162

版权

本文总结了集成学习中的Boosting与Bagging的异同，强调了它们在降低偏差和方差上的作用。讨论了Adaboost和GBDT算法，特别是GBDT的优缺点。此外，对比了XGBoost与GBDT的不同，包括正则化的处理和对缺失值的处理策略，并提到了常用基分类器——决策树的特点。

摘要由CSDN通过智能技术生成

1、集成学习分哪几种，有何异同。
Boosting：训练基分类器时采用串行的方式，强依赖。对于错误分类的样本给与更高的权重。线性加权得到强分类器。减少偏差。
Bagging：并行训练，弱依赖。每个个体单独判断，投票做出最后的决策。减少方差。RF每次选取节点分裂属性时，会随机抽取一个个属性子集。
2、偏差和方差
偏差，偏离程度。训练开始时，拟合差，偏差大。
方差，离散程度。敏感程度。
在这里插入图片描述

3、为什么说bagging是减少variance，而boosting是减少bias？
boosting是把许多弱的分类器组合成一个强的分类器。弱的分类器bias高，而强的分类器bias低，所以说boosting起到了降低bias的作用。variance不是boosting的主要考虑因素。bagging是对许多强（甚至过强）的分类器求平均。在这里，每个单独的分类器的bias都是低的，平均之后bias依然低；而每个单独的分类器都强到可能产生overfitting的程度，也就是variance高，求平均的操作起到的作用就是降低这个variance。
4、Adaboost算法