集成学习

团队合作

多个分类器集合，每个分类器抓住不同特征，就像打游戏一样，需要射手，法师，坦克。

复杂模型往往容易高方差，低偏差

bagging 适应于复杂模型，过拟合，

多个分类器好的进行组合

随机森林：

      行采样，列采样，有放回的取样

      没有办法更好的去fit函数

     

Boosting:

  一个原则：可以使分类错误率高过50%的分类器达到错误率0%的情况，有点夸张，但是证明效果确实很好

 

  如何得到不同的分类器： 

         1，用不同的训练集（bagging,boosting都可以）

          2.给训练集的样本不同的权重，制造出新的dataset

          3，改变目标函数/代价函数

Adaboost:

           增大分错样本的权重，减少分队样本的权重，增大和减少多少，一般是0.5

Gradient boosting:

      从boost来讲，拟合残差

      从gardient 对目标函数求梯度