一、集成模型
二、Boosting
1、思想
Boosting:将弱学习器组合成强学习器
2、实现
Boosting可以视为一种自适应基模型:
其中Φm(x)为基函数/弱学习器(一般选用CART)
三、AdaBoost
1、基本思想
样本权重 / “过滤”
---没有先验知识的情况下,初始的分布为等概分布,即训练集如果有N个样本,每个样本的分布概率为1/N
---每次循环后提高误差样本的分布概率,误差样本在训练集中所占权重增大,使得下一次循环的弱学习器能集中力量对这些误分样本进行判断
2、实现
给定训练集:(x1,y1),.....,(xN,yN),其中yi ∈ {-1,1}表示xi的类别标签
训练集上样本的初始分布:w1,i = 1/N
对m = 1:M,(循环M轮,每一轮得到一个弱分类器)
1、训练样本采用权重Wm,i计算弱分类器Φm(x)
2、算该弱分类器在分布Wm上的误差:
(Ⅱ(Φm(xi) ≠ yi)满足条件为1,否则为0)(目的:对于分错的样本减小权重,提高模型准确率)
3、算该弱分类器的权重:
4、新训练样本的分布:
(其中Zm为归一化常数,使得Wm+1,是一个分布,对于误差大的数据加大训练)
最后的强分类器为:
3、优缺点
四、GBDT
1、简介
2、实现
●给定输入向量X和输出变量Y组成的若干训练样本(X1,Y1),(X2,Y2),…,(Xn,Yn) ,目标是找到近似函数 F(x) ,使损失函数最小在这里我们损失函数使用最小二乘损失函数.
最优解:
●以贪心算法的思想扩展得到Fm(X),求解最优f:
●以贪心法在每次选择最优基函数f时仍然困难,使用梯度下降的方法近似计算,给定常数函数F0(X):
●根据梯度下降计算“导数(残差)”值:
●使用数据 (xi ,aim )(i=1……n )计算拟合残差找到一个CART回归树,得到第m棵树:
●更新模型:
3、图解
把每次预测结果最一个叠加,预测为20+6+3+1 = 30.