本文介绍了集成学习中的AdaBoost算法，重点讲述了其目标优化函数、弱分类器权重的求解、训练流程以及误差分析。AdaBoost通过迭代训练弱分类器，并结合权重形成强分类器，其中弱分类器通常是决策树。文章还提到了其他类型的AdaBoost变种及实现细节。
0 简介
Boosting的一种 关注于之前错分的样本
对样本赋予权重 弱分类器也有权重
强分类器由若干个弱分类器乘各自的权重组成
弱分类器为决策树
s g n ( F ( x ) ) sgn(F(x)) sgn(F(x))
F ( x ) = ∑ i = 1 M β i f ( x ; γ ) F(x)=\sum\limits_{i=1}^{M}{\beta_if(x;\gamma)} F(x)=i=1∑Mβif(x;γ)
1 目标优化函数
采用指标损失函数 e − y F ( x ) e^{-yF(x)} e−yF(x)
需要求解的参数：
- 弱分类器的权重 β \beta β
- 弱分类器的参数 γ \gamma γ
用 F j − 1 F_{j-1} Fj−1代表上一个强分类器 F j F_{j} Fj代表新的强分类器：
F j = F j − 1 + β f ( x ) F_{j}=F_{j-1}+\beta f(x) Fj=Fj−1+βf(x)
所以目标优化函数为
m i n ∑ i = 1 l e − y i [ F j − 1 + β f ( x i ) ] min\sum_{i=1}^{l}e^{-y_i[ F_{j-1}+\beta f(x_i)]} mini=1∑le−yi[Fj−1+βf(xi)]
m i n ∑ i = 1 l w i j − 1 ⋅ e − y i β f ( x i ) min\sum_{i=1}^{l}w_i^{j-1}·e^{-y_i\beta f(x_i)} mini=1∑lwij−1⋅e−yiβf(xi)
最低0.47元/天 解锁文章
扫一扫
3737
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
