集成学习思想:
两个流派:
1、Boosting
通过将弱学习器提升为强学习器的集成方法来提高预测的精度。
典型算法:AdaBoost、GBDT
2、Bagging
通过自动采样的方法生成众多并行式分类器,通过“少数服从多数”的原则来确定最终的结果。
典型算法:随机森林
思想:一棵树是决策树,多棵树就是随机森林,解决了决策树泛化能力弱的缺点。
随机:随机选择样本、随机选择特征
集成学习:投票机制
GBDT概念:
GBDT由3部分组成,DT(Regression Decistion Tree)、GB(Gradient Boosting)和Shrinkage(衰减)。
由多棵决策树组成,所有树的结果累加起来就是最终结果。
GBDT的思想:就是不断去拟合残差,使参数不断减少。
数据分析面试
最新推荐文章于 2021-03-16 21:52:26 发布