集成学习方式:
1.bagging并行-(RF随机森林)
1)从原始样本中抽一部分样本作为训练集。每轮从原始样本中使用Boostraping有放回抽取n个样本,共进行k轮抽取,得到k个训练集。
2)每次使用一个训练集得到一个模型,共得到k个模型。将k个模型采用投票方式得到分类结果;对回归问题,计算上述模型的均值作为回归结果。
每次大约有三分之一的数据不被抽到,作为测试集。
基模型-同质/强分类器。
多个模型的平均来避免过拟合。
bagging:样本随机
随机森林:样本随机、特征随机
RF优点:大样本速度优势、泛化能力强、对部分特征缺失不敏感
RF缺点:对噪音较大易过拟合,但可用有些方法降噪、可解释性较决策树弱
2.boosting串行-(GBDT/Adaboost/XGBOOST)
3.stacking框架:结合上两种