Ensemble

Bagging

Bagging一般用在容易overfitting的model上

1. “制造"不同的data

假设现在有 个 training data，对这 个data 做 Sampling。每次取  个data组成一个新的dataset ，每次抽取后要把这个 data 再放回（with  replacement）。通常， = （每个dataset并不会一样，因为会 samping 到重复的 data ）。

2. 每个dataset 分别使用不用的 function 进行学习，将结果进行Average （for regression）或者 voting (for classify)

 

Boosting

Improving Weak Classifiers

•  Adaboost

Adaboost 的思想是  

怎么去找一个新的dataset 去 fail  呢？这里要用到 re-weighting 的方法

设 ： the error rate of   on its training data

对  和 ：

其中 时，  = 0，    时，  = 1 。

我们想得到  ，使得

怎么去找  呢？

找一个，使得：

其中

 的推导过程如下：

代进去就是

也就是

 

又因为

   

                                                                                                           

 所以

 

所以，Adaboost 的总流程是

                                                                         

这样就获得了， ...  ...  ， 怎么去组合它们的结果呢？

遵循 Smaller error  , larger weight for final voting 的原则：

                                                                                 

• Gradient Boosting

Stack

Voting

 

from：https://www.youtube.com/watch?v=tH9FH1DH5n0&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=32