百面机器学习总结笔记（第十二章 集成学习）

百面机器学习总结笔记

第十二章 集成学习

集成学习的种类

问题：集成学习分哪几种？他们有何异同？

集成学习的步骤和例子

问题：集成学习有哪些基本步骤？请举几个集成学习的例子

基分类器

问题：常用的基分类器是什么？

问题：可否将随机森林中的基分类器，由决策树替换为线性分类器或者K-近邻？请解释为什么？

方差与偏差

什么是偏差和方差？

问题：如何从减小方差和偏差的角度解释Boosting和Bagging的原理？

梯度提升决策树的基本原理

问题：GBDT的基本原理是什么？

问题：梯度提升和梯度下降的区别和联系是什么？

问题：GBDT的优点和局限性有哪些？

XGBoost与GBDT的联系与区别

问题：XGBoost 与 GBDT的联系和区别有哪些？