从优化角度推导Adaboost

最新推荐文章于 2024-06-10 18:05:11 发布

Cxy2029049

最新推荐文章于 2024-06-10 18:05:11 发布

阅读量373

点赞数 1

分类专栏：机器学习算法文章标签： adaboost 机器学习统计学习最优化

本文链接：https://blog.csdn.net/Cxy2029049/article/details/83211844

版权

本文从优化角度深入推导Adaboost算法，首先回顾其基本原理和流程，然后详细阐述了从第一次迭代到第k次迭代的优化过程，每次迭代中如何选择最优分类器并更新样本权重，最终得出加权弱分类器的组合方式。通过这种方式，Adaboost有效地解决了优化问题，避免过拟合的同时保证了算法性能。

摘要由CSDN通过智能技术生成

1 回顾AdaBoost算法流程

Adaboost基本原理是将多个弱分类器加权组合，最终形成一个强分类器。算法中有两个重要的权重：样本权重和分类器权重。算法每一次迭代中只投入一个弱分类器进行训练，当前加权样本上计算得到误差，并通过误差来计算此分类器的权重，并更新样本的权重

1.1 模型参数

样本： ${(x_1,y_1),(x_2,y_2)...(x_n,y_n)\}$ ，其中 $y_i\in\{-1,1\}$

分类器： ${k_1,k_2...k_l\}$ ，其中 $k_j(x_i)\in\{-1,1\}$

样本初始权重： $w^{(1)}=(w^{(1)}_1,w^{(1)}_2...w^{(1)}_n)=(1,1,...,1)$

1.2 算法流程

假设我们进行T次迭代（注：迭代次数不一定要等于分类器数量），则

对于 t = 1,2…,T

选择使得误差 $E_t$ 最小的分类器 k，并设其为 $C_t$
$E_t = \sum\limits^{n}_{i=1}\frac{w^{(t)}_i}{\sum\limits^{n}_{j=1}w^{(t)}_j}I\{y_i\neq C_t(x_i)\}$
通过误差可以计算该分类器的权重
$a_t=\frac{1}{2}ln(\frac{1-E_t}{E_t})$
接下来更新样本权重
$w^{(t+1)}_i=\frac{w^{(t)}_i}{\sum\limits^{n}_{j=1}w^{(t)}_j}exp\{2a_t I\{y_i\neq C_t(x_i)\}\}$

end

1.3 算法结果

最终得到弱分类器的加权和
$f(x_i)=\sum\limits^{T}_{t=1}a_tC_t(x_i)$

2 从优化角度推导Adaboost

2.1 推导过程

2.1.1 第一次迭代

首先我们考虑Adaboost第一次迭代，对于分类器的选择和权重的确定，可以化为一个简单的优化问题：

$y\in\{-1,1\}，设分类器f(x_i)=a_1C_1(x_i)，其中C_1(x_i)\in\{-1,1\}$
$损失函数： L(y_i,f(x_i))=e^{-y_if(x_i)}$
$总误差为：L(a_1,C_1)=\sum\limits^{n}_{i=1}e^{-y_if(x_i)}=\sum\limits^{n}_{i=1}e^{-y_ia_1C_1(x_i)}$
则我们目标是求解优化问题： $(\hat{a_1},\hat{C_1})=argmin_{a_1,C_1}L(a_1,C_1)$

证明：
$L(a_1,C_1)=\sum\limits^{n}_{i=1}e^{-y_ia_1C_1(x_i)}$
　　　　　 $=\sum\limits^{n}_{i=1}e^{-a_1}I\{y_i=C_1(x_i)\}+\sum\limits^{n}_{i=1}e^{a_1}I\{y_i\neq C_1(x_i)\} (*)$
　　　　　 $=\sum\limits^{n}_{i=1}e^{-a_1}I\{y_i=C_1(x_i)\}+\sum\limits^{n}_{i=1}e^{-a_1}I\{y_i\neq C_1(x_i)\}$