机器学习(5)--XGBOOST

Bagging和Boosting 概念及区别
　　Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。


首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法（可能抽到重复的样本）。


1、Bagging (bootstrap aggregating)


Bagging即套袋法，其算法过程如下：


A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）


B）每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）


C）对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）


 


2、Boosting


其主要思想是将弱分类器组装成一个强分类器。在PAC（概率近似正确）学习框架下，则一定可以将弱分类器组装成一个强分类器。


关于Boosting的两个核心问题：


1）在每一轮如何改变训练数据的权值或概率分布？


通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。


2）通过什么方式来组合弱分类器？


通过加法模型将弱分类器进行线性组合，比如AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。


而提升树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。


 


3、Bagging，Boosting二者之间的区别


Bagging和Boosting的区别：


1）样本选择上：


Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。


Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。


2）样例权重：


Bagging：使用均匀取样，每个样例的权重相等


Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。


3）预测函数：


Bagging：所有预测函数的权重相等。


Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。


4）并行计算：


Bagging：各个预测函数可以并行生成


Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。


 


4、总结


这两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果，将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果，但是也增大了计算量。


下面是将决策树与这些算法框架进行结合所得到的新的算法：


1）Bagging + 决策树 = 随机森林


2）AdaBoost + 决策树 = 提升树

 

3）Gradient Boosting + 决策树 = GBDT

 

 

提升树算法

提升树是迭代多棵回归树来共同决策。当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的意义如公式：残差 = 真实值 - 预测值 。提升树即是整个迭代过程生成的回归树的累加。
  举个例子，参考自一篇博客（参考文献 4），该博客举出的例子较直观地展现出多棵决策树线性求和过程以及残差的意义。
  训练一个提升树模型来预测年龄：
  训练集是4个人，A，B，C，D年龄分别是14，16，24，26。样本中有购物金额、上网时长、经常到百度知道提问等特征。提升树的过程如下：

提升树示例

该例子很直观的能看到，预测值等于所有树值得累加，如A的预测值 = 树1左节点 值 15 + 树2左节点 -1 = 14。
  因此，给定当前模型 fm-1(x)，只需要简单的拟合当前模型的残差。现将回归问题的提升树算法叙述如下：

 

xgboost特点（与gbdt对比）

 

XGBoost的优点

1.正则化

   XGBoost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variancetradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。

2.并行处理

    XGBoost工具支持并行。Boosting不是一种串行的结构吗?怎么并行的？注意XGBoost的并行不是tree粒度的并行，XGBoost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。XGBoost的并行是在特征粒度上的。

    我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

  3.灵活性

 

    XGBoost支持用户自定义目标函数和评估函数，只要目标函数二阶可导就行。

  4.缺失值处理

     对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。

 

  5.剪枝

 

     XGBoost 先从顶到底建立所有可以建立的子树，再从底到顶反向进行剪枝。比起GBM，这样不容易陷入局部最优解。

 

  6.内置交叉验证

    XGBoost允许在每一轮boosting迭代中使用交叉验证。因此，可以方便地获得最优boosting迭代次数。而GBM使用网格搜索，只能检测有限个值。

GBoost使用key-value字典的方式存储参数：

 

    params = {    

'booster': 'gbtree', 

  'objective': 'multi:softmax',  # 多分类的问题    

'num_class': 10,            # 类别数，与 multisoftmax 并用   

 'gamma': 0.1,       # 用于控制是否后剪枝的参数,越大越保守，一般0.1、0.2这样子。

 'max_depth': 12,               # 构建树的深度，越大越容易过拟合   

 'lambda': 2,         # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。

 'subsample': 0.7,              # 随机采样训练样本

 'colsample_bytree': 0.7,       # 生成树时进行的列采样    

'min_child_weight': 3,   

 'silent': 1,                   # 设置成1则没有运行信息输出，最好是设置为0.

 'eta': 0.007,                  # 如同学习率 

 'seed': 1000,   

 'nthread': 4,                  # cpu 线程数}

基于Scikit-learn接口的分类

from sklearn.datasets import load_iris
import xgboost as xgb
from xgboost import plot_importance
from matplotlib import pyplot as plt
from sklearn.model_selection import train_test_split

# read in the iris data
iris = load_iris()

X = iris.data
y = iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

# 训练模型
model = xgb.XGBClassifier(max_depth=5, learning_rate=0.1, n_estimators=160, silent=True, objective='multi:softmax')
model.fit(X_train, y_train)

# 对测试集进行预测
ans = model.predict(X_test)

# 计算准确率
cnt1 = 0
cnt2 = 0
for i in range(len(y_test)):
    if ans[i] == y_test[i]:
        cnt1 += 1
    else:
        cnt2 += 1

print("Accuracy: %.2f %% " % (100 * cnt1 / (cnt1 + cnt2)))

# 显示重要特征
plot_importance(model)
plt.show()

 

 

输出预测正确率以及特征重要性：

Accuracy: 100.00 %