042（11.7）初识AdaBoost

AdaBoost 即 Adaptive Boosting，通俗的讲，就是把许多“弱弱”的hypotheses（学习器）合并起来，变成很强的预测模型。

引入：bagging中原有的 Weightd Base Algorithm

首先，要说明，AdaBoost采用的是序列采样。
里面有提到自助采样和序列采样

Weightd Base 算法如下图，目的是最小化bootstrap-weighted error。

（每一个学习器的优化目标）

其中，u相当于是权重因子，当中第i个样本出现的次数越多的时候，那么对应的越大，表示在error function中对该样本的惩罚越多。

所以，从另外一个角度来看bagging，它其实就是通过bootstrap的方式，来得到这些值（u），作为犯错样本的权重因子，再用base algorithn最小化 error function，得到不同的学习器。这个error function被称为bootstrap-weighted error。

示例如下：