机器学习Day9:集成学习

概念

集成学习通过构建并结合多个学习器来完成学习任务

模型

集成学习的结果通过投票法（少数服从多数）产生，所以学习器要有多样性，精度高不一定是好事

1.Bagging模型：并行训练多个学习器
典型代表：随机森林
随机：数据采样随机，特征选择随机
森林：多个决策树并行放在一起

优点：能够学习高维数据，不用做特征选择；可以进行可视化展示，便于分析；训练完成后，能给出哪些特征更重要
理论上，树的数量越多训练效果越好，但当树的数量达到一个值时，增加树的数量作用不大

2.Boosting模型：先训练出一个基学习器，在此基础上进行调整提升训练效果，以此类推，直至学习器的数量达到预设的值，最终将这些学习器进行加权结合
典型代表：AdaBoost 、xgBoost
AdaBoost会根据前一次的分类效果调整数据权重

3.Stacking堆叠模型：第一阶段得出各自结果，第二阶段再用前一阶段的结果训练
适合竞赛使用