0 简介
Boosting的一种 构造样本标签值 通过弱学习器学习新的样本标签
一般用于回归 弱学习器用回归决策树 CART
关键思想:
- 用负梯度构造新的样本标签
- 弱学习器来学习新的标签
1 流程
(1)初始化强学习器$$
(2)对于弱学习器 m=1,2,3…M
- 计算梯度 修改样本标签值为负梯度
y ′ = − [ ∂ L ( y , f ( x i ) ) ∂ F ( x i ) ] F ( x ) = F m − 1 ( x ) y\prime=-[\cfrac{\partial L(y,f(x_i))}{\partial F(x_i)}]_F(x)=F_{m-1}(x) y′=−[∂F(xi)∂L(y,f(xi))]F(x)=Fm−1(x) - 训练若学习器
a m = a r g ⋅ m i n ∑ i = 1 N ( y i ′ − β h ( x ; a ) ) 2 a_m=arg·min\sum_{i=1}^N{(y_i\prime-\beta h(x;a))^2} am=arg⋅mini=1∑N(yi′−βh(x;a))2 - 确定系数
β m = a r g ⋅ m i n ∑ i = 1 N L ( y i , F m − 1 ( x i ) + β h ( x i ; a m ) ) \beta_m=arg·min\sum_{i=1}^NL(y_i,F_{m-1}(x_i)+\beta h(x_i;a_m)) βm=arg⋅mini=1∑NL(yi,Fm−1(xi)+βh(xi;am))
(3)更新强学习器
F m ( x ) = F m − 1 ( x ) + β h ( x ; a m ) F_m(x)=F_{m-1}(x)+\beta h(x;a_m) Fm(x)=Fm−1(x)+βh(x;am)
2 回归
大多回归问题使用
以回归来说 损失函数用平方损失
L
(
y
,
f
(
x
i
)
)
=
1
2
(
y
−
f
(
x
i
)
)
2
L(y,f(x_i))=\cfrac12(y-f(x_i))^2
L(y,f(xi))=21(y−f(xi))2
梯
度
=
−
(
y
−
f
(
x
i
)
)
梯度=-(y-f(x_i))
梯度=−(y−f(xi))
h(x)是弱学习器 β是系数 a m a_m am是h的参数
F
m
(
x
)
=
F
m
−
1
(
x
)
+
β
h
(
x
;
a
m
)
F_m(x)=F_{m-1}(x)+\beta h(x;a_m)
Fm(x)=Fm−1(x)+βh(x;am)
F
m
(
x
)
≈
F
m
−
1
(
x
)
−
梯
度
F_m(x)\approx F_{m-1}(x)-梯度
Fm(x)≈Fm−1(x)−梯度
所以
m
i
n
(
−
梯
度
−
β
h
(
x
;
a
m
)
)
2
min(-梯度-\beta h(x;a_m))^2
min(−梯度−βh(x;am))2
即
m
i
n
(
y
−
f
(
x
i
)
−
β
h
(
x
;
a
m
)
)
2
min(y-f(x_i)-\beta h(x;a_m))^2
min(y−f(xi)−βh(x;am))2
负梯度正好等于残差
也就是说每个弱学习器来拟合之前的残差
扫一扫
289
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
