bagging and boosting

bagging

基于数据随机重抽样的分类器构建方法。首先基于原始数据集随机重抽样获取$s$个与原始数据集同样大小的新数据集（即原始数据集中的样本在新数据集中可能出现多次，也可能不出现）。然后利用同一种基分类器获得$s$个分类器。测试数据根据$s$个分类器结果的大多数投票获得最终的分类结果。
特点：基于一种基分类器的组合获得强分类器的方法。分类器的权重相等（采用大多数投票）。

---

boosting

boosting 集中关注分类器错分的数据来获得新的分类器，且为分类器赋予不同的权重（分类器的错误率越低，其对应的权重越大，即越容易对分类结果产生影响）。

boosting（一个数据集，串行训练，加权求和）
bagging（$s$个数据集，并行训练，投票法）

Adaboost

将多个弱分类器组合为强分类器
AdaBoost是“Adaptive Boosting”（自适应增强）的缩写。

(1) 初始化每个训练样本的权重分布：首先为每一个训练样本赋予相同的权重，如果有$N$个样本，则每个训练样本的初始权重都为$1/N$；
(2) 训练弱分类器：基于样本总体训练出一个弱分类器并计算该分类器的错误率。第二次训练时，根据上一个分类器的错误率，对数据集中样本权重进行调整，分类正确的样本权重降低，分类错误的样本权重上升，权重总和保持不变为1。

分类准则：弱分类器的误差函数最小，即分错的样本对应的权值之和最小。$${ϵ}_m=\sum _{n=1}^N{w}_n^{(m)}I(y_m(x_n)̸=t_n)$$

其中$w_n^{(m)}$表示第$n$个样本第$m$次训练对应的权值。

(3) 将各个训练得到的弱分类器组合成强分类器：多次迭代后，最后的分类器基于训练的弱分类器的分类错误率，为每次训练的分类器赋予不同的决定系数${\alpha }_m$，错误率低的分类器获得更高的决定系数。
$${\alpha }_m=\frac{1}{2}\log (\frac{1-e_m}{e_m})$$

其中，$e_m=$错分的样本数目$/$样本总数，即分类错误率。上式随着$e_m$的减小而增大，即误差率小的分类器，在最终分类器中的重要程度大。
如果某个样本被正确分类，样本权重更新为：
$$w_i^{(m+1)}=w_i^{(m)}\ast \exp (-{\alpha }_m)/Z_m$$

如果某个样本被错分，样本权重更新为：
$$w_i^{(m+1)}=w_i^{(m)}\ast \exp ({\alpha }_m)/Z_m$$

上述两式可以统一为：
$$w_i^{(m+1)}=\frac{w_i^{(m)}}{Z_m}\ast \exp (-{\alpha }_m{y}_i{G}_m(x_i))$$

$Z_m$为规范化因子，
$$Z_m=\sum _{i=1}^N{w}_i^{(m)}\exp (-{\alpha }_m{y}_i{G}_m(x_i))$$

最终的分类器为：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

$$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

当$f(x)>0$时为1，当$f(x)<0$时为-1。

AdaBoost算法推导？？？

Adaboost算法
机器学习P174
【机器学习】集成学习——AdaBoost算法与原理推导