Bagging
- 从原始样本集中有放回抽样,获取训练子集。假设训练集有N个样本,每轮从训练集中有放回的抽取N个训练样本。共进行k轮抽取,得到k个训练子集。(k个训练集之间是相互独立的)
- 每个训练子集训练一个模型,k个训练集共得到k个模型。
- 对分类问题:投票;回归问题:取均值
Boosting
- 使用全部样本训练每个模型;
- 每轮训练改变样本的权重,减小在上一轮训练正确的样本的权重,增大错误样本的权重
- 下轮训练目标是拟合上一轮的残差;
区别
(1)样本选择上
Bagging: 原始训练集上有放回选取,各轮训练集之间是独立
Boosting: 每一轮使用全部训练集,只是每个样本的权重不同,权值是根据上一轮的分类结果进行调整
(2)样本权重
Bagging: 权重相等
Boosting:每个样本的权重不同,权值是根据上一轮的分类结果进行调整
(3)预测函数
Bagging: 所有预测函数的权重相等
Boosting: 每个弱分类器都有相应的权重,分类误差小的分类器会有更大的权重
(4)弱学习器拟合情况
Bagging:overfitting
Boosting:underfitting
(5)并行计算
Bagging:并行
Boosting:串行,顺序生成
对bagging减少variance,而boosting减少bias的理解
Bagging:
Bagging对样本重采样,对每一重采样得到的子样本集训练一个模型,最后取平均。由于子样本集的相似性以及使用的是同种模型,因此各模型有近似相等的bias和variance(事实上,各模型的分布也近似相同,但不独立)
bias:
- 由于 E [ ∑ X I n ] = E [ X i ] E[\frac{\sum{X_I}}{n}] = E[X_i] E[n∑XI]=E[Xi],所以bagging后的bias和单个子模型的接近,一般来说不能显著降低bias。
variance:
- 若各子模型独立,则 V a r ( ∑ X i n ) = V a r ( ∑ X i ) n Var(\frac{\sum{X_i}}{n}) = \frac{Var(\sum{X_i})}{n} Var(n∑Xi)=nVar(∑Xi),variance降为单个模型的 1 n \frac{1}{n} n1 ,
- 若各子模型完全相同,则
V
a
r
(
∑
X
i
n
)
=
V
a
r
(
X
i
)
Var(\frac{\sum X_i}{n})=Var(X_i)
Var(n∑Xi)=Var(Xi),此时不会降低variance
bagging方法得到的各子模型是有一定相关性的,属于上面两个极端状况的中间态,因此可以一定程度降低variance。为了进一步降低variance,Random forest通过随机选取变量子集做拟合的方式de-correlated了各子模型(树),使得variance进一步降低。
Boosting
从优化角度来看,是用forward-stagewise这种贪心法去最小化损失函数
L
(
y
,
∑
i
a
i
f
i
(
x
)
)
L(y, \sum_i a_i f_i(x))
L(y,∑iaifi(x))。
所谓forward-stagewise,就是在迭代的第n步,求解新的子模型
f
n
(
x
)
f_n(x)
fn(x)及步长
a
n
a_n
an(或者叫组合系数),来最小化
L
(
y
,
f
n
−
1
(
x
)
+
a
n
f
n
(
x
)
)
L(y,f_{n-1}(x)+a_nf_n(x))
L(y,fn−1(x)+anfn(x)),这里
f
n
−
1
(
x
)
f_{n-1}(x)
fn−1(x)是前
n
−
1
n-1
n−1步得到的子模型的和。
bias:
- boosting是在sequential地最小化损失函数,其bias自然逐步下降。
variance:
- 由于是采取这种sequential、adaptive的策略,各子模型之间是强相关的,于是子模型之和并不能显著降低variance。
所以说boosting主要还是靠降低bias来提升预测精度。