NLP学习笔记4--review/Ensemble 实战

集成学习

集成学习的结构：产生一组个体学习器，在用某种策略将他们结合起来

根据个体学习器算法类型的不同，分为：

（1）同质集成：子分类器性质相同 如全是决策树或全是神经网络

（2）异质集成：个体学习器包含不同类型的算法，如同时包含决策树和神经网络

串行化方法（序列化方法），个体学习器之间存在强依赖关系（dependant）
并行化方法 可以同时生成 不存在强依赖关系，可同时生成，如bagging和随机森林

集成学习三大经典方法：

bagging 并行继承 

硬分类：少数服从多数

软分类：在得到分类结果之前 有一个softmax 再综合出结果

 

 

boosting 串行继承

 

  如何理解adaboosting核心思想？

  三种分类的特点结合：优势结合 给每一个子分类权重 给出最终的权重 

bagging和boosting区别

 

stacking 分层继承

讲的真烂这部分

无语 后续看西瓜书看懂的adaboost