本文转自http://blog.crackcell.com/posts/2013/04/30/machine_learning_note_3_boosting.html
1 前言
Boosting的基本思想很简单,就是"三个臭皮匠顶个诸葛亮"。将若干个弱分类器(base learner)组合起来,变成一个强分类器。大多数boosting方法都是通过不断改变训练数据的概率(权值)分布,来迭代训练弱学习器的。所以总结而言,boosting需要回答2个问题:。
- 如何改变训练数据的概率(权值)分布
- 如何将弱分类器组合起来
下面先用Adaboost入手,聊一下boosting。
2 AdaBoost
输入: 训练样例
步骤:
- 初始化权值分布
D 1 =(w 11 ,...,w 1i ,...,w 1n ),w 1i =1n
- 对于m=1,2,…,M:
- 使用带权值的实例集合Dm训练模型,得到弱分类器:
G m (x):x−>y
- 计算Gm(x)在训练集上的误差率
e m =P(G m (x i ≠y i ))=∑ i=1 n w mi I(G m (x i )≠y i )
- 计算Gm(x)的系数
a m =12 ln1−e m e m
- 更新训练样例的权值分布,为下一轮迭代做准备
D m+1 =(w m+1,1 ,...,w m+2,i ,...,w m+1,n )w m+1,i =w mi Z m exp(−a m y i G m (x i ))Z m =∑ i=1 n w mi exp(−a m y i G m (x i ))
- 使用带权值的实例集合Dm训练模型,得到弱分类器:
- 进行了M轮迭代之后,产出了M个弱分类器,将他们组合起来:
f(x)=∑ i=1 m a m G m (x)
3 Boosting Tree
提升树被认为是统计学习中性能最好的方法之一,可以用来分类或者回归。对于分类问题,算法类似在AdaBoost中,使用决策树作为弱分类器。但对于回归问题,稍微有点不同。回归和分类最大的区别在于模型产出的数值之间的可比性。比如,对于分类,我们把本来应该是分类1的样本预测成了2或者3,他们2者的错误程度是一样的。但若这是一个回归问题,回归成3显然比2"错"得更多。
3.1 加法模型和前向分步算法
在聊Boosting Tree的回归之前,需要先了解2个概念:加法模型(additive model)和前向分步算法。
加法模型 就是将若干基函数线性组合的模型,函数表示为:
- b(x;γ m ) 为基函数
- γ m 为基函数的参数
- β m 为基函数的系数
直接解加法模型的最优化问题很麻烦,所以使用 前向分步算法 来分步迭代的求解,每次只算一个基函数的参数。
对于提升树,第m次迭代可以表示为:
- T(x;Θ m ) 为一个树
- Θ m 为树的参数
每轮的最优化问题可以表示为:
3.2 回归问题的提升树算法
接上节,那么对于回归问题,可以用平方误差损失函数:
我们不妨对比一下Boosting Tree的回归和分类。从实现上,分别用不同的方法实现了"动态确定样本权值"这一目标。回归是用拟合残差,分类是用错误率来调整样本权值。
那么,回归问题的算法可以如下描述:
输入: 训练样例
步骤:
- 初始化f0(x)=0
- 对m=1,2,…,M
- 计算残差
r mj =y i −f m−1 (x i )
- 拟合残差得到回归树 T(x;Θ m )
- 更新 f m x=f m−1 (x)+T(x;Θ m )
- 计算残差
- 得到回归问题的boosting tree:
f M (x)=∑ m=1 M T(x;Θ m )
4 Gradient Boosting
上面聊到的算法中存在最优化的操作。如果损失函数是平方损失(对于回归问题)和指数损失(对于分类问题),解最优化很简单。但如果是一般的损失函数,最优化可能很困难。Gradient Boosting就是为了解决这个问题。它将问题转变成在损失函数梯度上寻找下降最快的方向,近似地求解。
输入: 训练样例
- 初始化:
f 0 =argmin∑ i=1 n L(y i ,c)
- 对于m=1,2,…,M
- 对于i=1,2,…,N,计算
r mi =−[∂L(y i ,f(x i ))∂f(x i ) ] f(x)=f m−1 (x)
- 用rmi拟合一个回归树,得到第m棵树的叶结点区域Rmj
- 对于j=1,2,…,J,计算
c mj =argmin∑ x i ∈R mj L(y i ,f m−1 (x i )+c)
- 更新 f m (x)=f m−1 (x)+∑ J j=1 c mj I(x∈R mj )
- 对于i=1,2,…,N,计算
- 得到回归树
f(x)=f M (x)=∑ m=1 m ∑ j=1 J c mj I(x∈R mj )
我们可以和3.2节中的算法比较一下,一目了然,主要差别在于这里每轮拟合模型的是损失函数的负梯度而不是残差。