Bagging
Bagging一般用在容易overfitting的model上
1. “制造"不同的data
假设现在有 个 training data,对这
个data 做 Sampling。每次取
个data组成一个新的dataset ,每次抽取后要把这个 data 再放回(with replacement)。通常,
=
(每个dataset并不会一样,因为会 samping 到重复的 data )。
2. 每个dataset 分别使用不用的 function 进行学习,将结果进行Average (for regression)或者 voting (for classify)
Boosting
Improving Weak Classifiers
- Adaboost
Adaboost 的思想是
怎么去找一个新的dataset 去 fail 呢?这里要用到 re-weighting 的方法
设 : the error rate of
on its training data
对 和
:
其中 时,
= 0,
时,
= 1 。
我们想得到 ,使得
怎么去找 呢?
找一个,使得:
其中
的推导过程如下:
代进去就是
也就是
又因为
所以
所以,Adaboost 的总流程是
这样就获得了,
...
...
, 怎么去组合它们的结果呢?
遵循 Smaller error , larger weight for final voting 的原则:
- Gradient Boosting
Stack
Voting
from:https://www.youtube.com/watch?v=tH9FH1DH5n0&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=32