二十七.集成学习之Adaboost的原理和sklearn实现

最新推荐文章于 2024-09-19 01:07:42 发布

stackooooover

最新推荐文章于 2024-09-19 01:07:42 发布

阅读量421

点赞数

分类专栏：机器学习实战机器学习理论基础

本文链接：https://blog.csdn.net/weixin_36128607/article/details/118714003

版权

机器学习理论基础同时被 2 个专栏收录

39 篇文章 8 订阅

订阅专栏

机器学习实战

31 篇文章 4 订阅

订阅专栏

1.简介

Adaboost为加法模型，学习算法为前向分步学习算法。
作为经典的boosting算法，Adaboost通过计算前一个基学习器的误差率，更新后一个基学习器的系数和样本集的权重系数，最后再通过结合策略进行预测。
理论上任何学习器都可以用于Adaboost。但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。

2.二分类样本权重和弱学习器系数推导

通过推导二分类的样本权重和弱学习器系数，可以了解Adaboost的工作原理。

(1)弱学习器系数推导

假设第 $k$ 轮的强学习器为 $f_{k}(x)$ ，弱学习器为 $G_{k}(x)$ ，根据加法模型和前向分布学习算法，可知它们之间的关系为：
$f_{k}(x)=\sum_{i=1}^{k}\alpha _{i}G_{i}(x)=f_{k-1}(x)+\alpha _{k}G_{k}(x)$
二分类问题中，Adaboost的损失函数为指数函数，则第 $k$ 轮的损失为：
$\begin{aligned} L(\alpha _{k},G_{k}(x)) &= \arg\min_{\alpha ,G}\sum_{i=1}^{m}\exp[-y_{i}f_{k}(x)]\\ &=\arg\min_{\alpha ,G}\sum_{i=1}^{m}\exp[-y_{i}(f_{k-1}(x)+\alpha _{k}G_{k}(x))] \\ &= \arg\min_{\alpha ,G}\sum_{i=1}^{m}\exp[-y_{i}f_{k-1}(x)]\exp[-y_{i}\alpha _{k}G_{k}(x)]\\ \end{aligned}$
上式中， $y_{i},f_{k-1}(x)$ 已知，因此， $exp[-y_{i}f_{k-1}(x)]$ 为常数，令：
$\overline{w}_{ki}=\exp[-y_{i}f_{k-1}(x)]$
则第 $k$ 轮的损失函数更新为：
$L(\alpha _{k},G_{k}(x))=\arg\min_{\alpha ,G}\sum_{i=1}^{m}\overline{w}_{ki}\exp[-y_{i}\alpha _{k}G_{k}(x)]$
在二分类任务中，当弱学习器的预测结果和标签一致时，即 $y_{i}=G_{k}(x_{i})$ ，则：
$-y_{i}\alpha _{k}G_{k}(x_{i})=-\alpha _{k}$
不一致时，即 $y_{i}\neq G_{k}(x_{i})$ ，则：
$-y_{i}\alpha _{k}G_{k}(x_{i})=\alpha _{k}$
由此可将损失函数进一步更新：
$\begin{aligned} L(\alpha _{k},G_{k}(x))&=\arg\min_{\alpha ,G}\sum_{i=1}^{m}\overline{w}_{ki}\exp[-y_{i}\alpha _{k}G_{k}(x)]\\ &= \arg\min_{\alpha ,G}[\sum_{y_{i}=G(x_{i})}\overline{w}_{ki}\exp(-\alpha _{k})+\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}\exp(\alpha _{k})]\\ &=\arg\min_{\alpha ,G}[e^{-\alpha _{k}}\sum_{y_{i}=G(x_{i})}\overline{w}_{ki}+e^{\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}]\\ &=\arg\min_{\alpha ,G}[e^{-\alpha _{k}}\sum_{y_{i}=G(x_{i})}\overline{w}_{ki}+e^{-\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}-e^{-\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}+e^{\alpha _{k}}\sum_{y_{i}\neq G(x_{i})}\overline{w}_{ki}]\\ &=\arg\min_{\alpha ,G}[e^{-\alpha _{k}}\sum_{i=1}^{m}\overline{w}_{ki}+(e^{\alpha _{k}}-e^{-\alpha _{k}})\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))] \end{aligned}$
上式对 $\alpha _{k}$ 求导可得：
$\begin{aligned} \frac{\partial L}{\partial \alpha _{k}}&=\arg\min_{\alpha ,G}[(e^{\alpha _{k}}+e^{-\alpha _{k}})\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))-e^{-\alpha _{k}}\sum_{i=1}^{m}\overline{w}_{ki}]\\ &=0\\ &\Rightarrow e^{-\alpha _{k}}=\frac{(e^{\alpha _{k}}+e^{-\alpha _{k}})\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))}{\sum_{i=1}^{m}\overline{w}_{ki}} \end{aligned}$
由错误率的定义可知，第 $k$ 轮分类错误率为加权误差比：
$E_{k}=\frac{\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))}{\sum_{i=1}^{m}\overline{w}_{ki}}$
将 $E_{k}$ 带入 $e^{-\alpha _{k}}$ 得第 $k$ 轮弱学习器的系数：
$\begin{aligned} e^{-\alpha _{k}} &= (e^{\alpha _{k}}+e^{-\alpha _{k}})E_{k}\\ &\Rightarrow 1=(e^{2\alpha _{k}}+1)E_{k}\\ &\Rightarrow e^{2\alpha _{k}}=\frac{1-E_{k}}{E_{k}}\\ &\Rightarrow \alpha _{k}=\frac{1}{2}\log\frac{1-E_{k}}{E_{k}} \end{aligned}$

(2)样本权重系数推导

训练过程中，第一轮的样本权重系数通过初始化得到，之后的权重系数可以根据以上过程推导：
已知第 $k$ 轮的权重系数为：
$\overline{w}_{ki}=\exp[-y_{i}f_{k-1}(x_{i})]$
则第 $k + 1$ 轮的权重系数为：
$\begin{aligned} \overline{w}_{k+1,i}&=\exp[-y_{i}f_{k}(x)] \\ &= \exp[-y_{i}(f_{k-1}(x)+\alpha _{k}G_{k}(x_{i}))]\\ &= \exp[-y_{i}f_{k-1}(x)]\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]\\ &=\overline{w}_{k,i}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})] \end{aligned}$
由此可得第 $k + 1$ 轮时的权重系数 $\overline{w}_{k+1,i}$ 。
通常，在计算的时候，会对权重系数进行归一化处理，具体做法为：
$w_{k+1,i}=\frac{w_{k,i}}{Z_{k}}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]$
其中， $Z_{k}$ 为使原式归一化的规范因子：
$Z_{k}=\sum_{i=1}^{m}w_{k,i}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]$

3.Adaboost分类算法流程

输入： $m$ 个 $n$ 维样本，每个样本有一个标签 $y$ ，弱分类器 $G (x)$ 迭代数量 $K$ 。
输出：强学习器 $f (x)$ 。
a.初始化样本集权重：
$\mathbf{w}_{1}=(w_{1,1},w_{1,2},w_{1,3},...,w_{1,m})\\ w_{1,i}=\frac{1}{m}$
b.使用具有权重 $\mathbf{w}_{k}$ 的样本集训练出第 $k$ 个弱学习器 $G_{k}(x)$ 。
c.计算出 $G_{k}(x)$ 的加权分类误差率：
$E_{k}=\frac{\sum_{i=1}^{m}\overline{w}_{ki}I(y_{i}\neq G(x_{i}))}{\sum_{i=1}^{m}\overline{w}_{ki}}$
d.计算弱分类器的系数：
二分类：
$\alpha _{k}=\frac{1}{2}\log\frac{1-E_{k}}{E_{k}}$
多分类：
$\alpha _{k}=\frac{1}{2}\log\frac{1-E_{k}}{E_{k}}+\log(C-1)$
其中， $C$ 为类别数。
e.更新下一轮样本权重：
$w_{k+1,i}=\frac{w_{k,i}}{Z_{k}}\exp[-y_{i}\alpha _{k}G_{k}(x_{i})]$
f.重复(2)到(4)直到训练出 $K$ 个若学习器，最终预测模型为：
$f(x)=sign(\sum_{k=1}^{K}\alpha _{k}G_{k}(x_{i}))$

4.Adaboost回归算法流程

输入： $m$ 个 $n$ 维样本，每个样本有一个标签 $y$ ，弱分类器 $G (x)$ 迭代数量 $K$ 。
输出：强学习器 $f (x)$ 。
a.初始化样本集权重：
$\mathbf{w}_{1}=(w_{1,1},w_{1,2},w_{1,3},...,w_{1,m})\\ w_{1,i}=\frac{1}{m}$
b.使用具有权重 $\mathbf{w}_{k}$ 的样本集训练出第 $k$ 个弱学习器 $G_{k}(x)$ 。
c.计算所有预算值的最大误差：
$E_{k}=\max|y_{i}-G_{k}(x_{i})|$
d.计算出每个预测值的相对误差：
线性误差:
$e_{k,i}=\frac{|y_{i}-G_{k}(x_{i})|}{E_{k}}$
平方误差：
$e_{k,i}=\frac{(y_{i}-G_{k}(x_{i}))^{2}}{E_{k}^{2}}$
指数误差：
$e_{k,i}=1-\exp(\frac{|y_{i}-G_{k}(x_{i})|}{E_{k}})$
e.计算当前预测结果的误差率：
$e_{k}=\sum _{i=1}^{m}w_{k,i}e_{k,i}$
f.计算弱学习器系数：
$\alpha_{k}=\frac{e_{k}}{1-e_{k}}$
g.更新下一轮的样本权重：
$w_{k+1,i}=\frac{w_{k,i}}{Z_{k}}\alpha _{k}^{1-e_{k,i}}$
其中， $Z_{k}$ 为归一化因子：
$Z_{k}=\sum_{i=1}^{m}w_{k,i}\alpha_{k}^{1-e_{k,i}}$
h.重复(2)到(7)直到训练出 $K$ 个若学习器。

5.Adaboost正则化

$f_{k}(x)=f_{k-1}(x)+v\alpha _{k}G_{k}(x)$
其中， $v$ 为惩罚系数，取值范围 $(0, 1]$ 。
惩罚系数越小，需要迭代的次数越多。

6.sklearn实现Adaboost

from sklearn import ensemble,tree,datasets
iris=datasets.load_iris()
x,y=iris.data,iris.target
model = ensemble.AdaBoostClassifier(tree.DecisionTreeClassifier())
model.fit(x,y)
print(model.score(x,y))

输出：