Stacking/Blending这两种集成学习方法的特点,一句话概括,就是以预测结果作为新特征进行训练。
我们分为5篇文章介绍集成学习,分别是:
本节课中,书中的人物小冰将一步一步的从老师咖哥身上学到Boosting的各种方法。
小冰开口问道:“集成学习,的确强大,从普通的决策树,到树的Bagging,到随机森林,到各种Boosting的手段,很长见识。然而这些大都是基于同一种机器学习算法的集成,而且基本都是在集成决策树。我的问题是,能不能集成不同类型的机器学习算法,比如随机森林啦、神经网络啦、逻辑回归啦,AdaBoost啦,然后优中选优,以进一步提升性能。”
咖哥点头微笑:“小冰,你的思路很对。集成学习,分为两大类。”
- 如果基模型都是通过一个基础算法生成