Day09-集成学习-机器学习-Adaboost算法(DataWhale)

三、Boosting方法

• Boosting方法是使用同一组数据集进行反复的学习，得到一系列简单模型，然后组合这些模型构成一个预测性能十分强大的学习模型。
  
• Boosting方法是通过不断减小偏差的形式，而Bagging是通过降低方差的方法。
• 大部分Boosting方法是通过改变训练数据集的概率分布(训练数据不同样本的权值)，针对不同概率分布的数据调用弱分算法学习一系列的弱分类器
• Boosting解决两个问题：(1)每一轮学习如何改变数据的概率分布；(2)如何将各个弱分类器组合起来。

3.1 Adaboost算法

原理

解决上述两个问题的方式：

• 针对1，提高被前一轮分类器错误分类的样本的权重，降低被正确分类的样本的权重，在上一轮分类器中没得到正确分类的样本，由于权重的增大在后一轮的训练中"备受关注"
• 针对2，各个弱分类器的组合通过采取加权多数表决的方式，加大分类错误率低的弱分类器的权重，减小分类错误率较大的弱分类器的权重。

推导

假设给定一个二分类的训练数据集：
$$T=(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)$$
其中每一个样本点由特征和类别组成。特征$x_i\in \mathcal{X}\subseteq R^n$，类别 y i ∈ Y = { − 1 , + 1 } y_i \in \mathcal{Y} = \{-1,+1\} yi​∈Y={ −1,+1}，$\mathcal{X}$是特征空间，$\mathcal{Y}$是类别集合，输出最终分类器$G(x)$

Adaboost算法：

(1) 初始化训练数据的分布

$$D_1=(w_{11},\dots ,w_{1i},\dots ,w_{1N})，w_{1i}=\frac{1}{N}，i=1,2,\dots ,N$$
说明：首先假设训练数据得权值分布是均匀分布

(2) 对于$m=1,2\dots ,M$

• 使用具有权值分布$D_m$的训练数据集进行学习，得到基本分类器： G m ( x ) : X → { − 1 , + 1 } G_m(x): \mathcal{X} \rightarrow \{-1,+1\} Gm​(x):X→{ −1,+1}
• 计算$G_m(x)$在训练集上的分类错误率
  
  $e_m={\sum }_{i=1}^{N}P(G_m(x_i)\ne y_i)={\sum }_{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$
• 计算$G_m(x)$的系数${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$ 【log返回自然对数】
• 更新训练集的权重分布：
  $$\begin{gathered} D_{m+1}=(w_{m+1,1},\dots ,w_{m+1,i},\dots w_{m+1,N}) \\ {w}_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))，i=1,2,\dots ,N \end{gathered}$$
  Z m Z_m Z