集成学习-Adaboost

• Author: 鲁力;
• Email: jieyuhuayang@foxmail.com
• Datawhale

Adaboost 算法简介

集成学习（ensemble learning）通过构建并结合多个学习器（learner）来完成学习任务，通常可获得比单一学习器更良好的泛化性能，特别是在集成弱学习器（weak learner）时。

集成学习两大类:

• 以bagging、Random Forest等算法为代表的，各个学习器之间相互独立、可同时生成的并行化方法；
• 以boosting、Adaboost等算法为代表的，个体学习器是串行序列化生成的、具有依赖关系，它试图不断增强单个学习器的学习能力。

算法详解

Adaboost步骤概览

1. 初始化训练样本的权值分布，每个训练样本的权值相等（如果一共有N个样本，则每个样本的权值为1/N）
2. 依次构造训练集并训练弱分类器。如果一个样本被准确分类，那么它的权值在下一个训练集中农会降低；相反，如果它分类错误，那么它在下一个训练集中的权值会提高。权值更新过后的训练集会用于训练下一个分类器。
3. 训练好的弱分类器集成为一个强分类器集，误差率小的弱分类器会在最终的强分类器里占据更大的权重，否则较小。

Adaboost 算法流程

给定一个样本数量为m的数据集 T = { ( x 1 , y 1 ) , … , ( x m , y m ) } T=\left \{\left(x_{1}, y_{1}\right), \ldots,\left(x_{m}, y_{m}\right) \right \} T={ (x1​,y1​),…,(xm​,ym​)}yi 属于标记集合{-1,+1}。

训练集的在第k个弱学习器的输出权重为 $$D(k)=\left(w_{k1},w_{k2},\dots w_{km}\right);w_{1i}=\frac{1}{m};i=1,2\dots m$$
​① 初始化训练样本的权值分布，每个训练样本的权值相同： $$D(1)=\left(w_{11},w_{12},\dots w_{1m}\right);w_{1i}=\frac{1}{m};i=1,2\dots m$$ ​
② 进行多轮迭代，产生T个弱分类器。

​ for t = 1, … , T :

​ a. 使用权值分布 D(t) 的训练集进行训练，得到一个弱分类器 G t ( x ) : χ → { − 1 , + 1 } G_{t}(x) : \quad \chi \rightarrow\{-1,+1\} Gt​(x):χ→{ −1,+1} ​ b. 计算 Gt(x) 在训练数据集上的分类误差率（其实就是被 Gt(x) 误分类样本的权值之和）:
$$e_t=P\left(G_t\left(x_i\right)̸=y_i\right)=\sum _{i=1}^m{w}_{ti}I\left(G_t\left(x_i\right)̸=y_i\right)$$ ​
c. 计算弱分类器 Gt(x) 在最终分类器中的系数(即所占权重) $${\alpha }_t=\frac{1}{2}\ln \frac{1-e_t}{e_t}$$ ​ d. 更新训练数据集的权值分布，用于下一轮（t+1）迭代
D ( t + 1 ) = ( w t + 1 , 1 , w t + 1 , 2 , ⋯ w t + 1 , i ⋯   , w t + 1 , m ) D(t+1)=\left(w_{t+1,1} ,w_{t+1,2} ,\cdots w_{t+1, i} \cdots, w_{t+1, m}\right) D(t+1)=(wt+1,1​,wt+1,2​,⋯w