（二）XGBoost之DART booster

XGBoost主要结合了大量的回归树和较小的学习率。在这种情况下，早期添加的树木很重要，而后期添加的树木并不重要。Vinayak和Gilad-Bachrach提出了一种新的方法，将深度神经网络社区的辍学技术添加到增强的树木中，并在某些情况下报告了更好的结果。——DART booster（解决过度拟合问题）

import xgboost as xgb

# 读数据
dtrain = xgb.DMatrix('xxx/xgboost/demo/data/agaricus.txt.train')
dtest = xgb.DMatrix('xxx/xgboost/demo/data/agaricus.txt.test')

# 定义参数
#在运行XGboost之前，我们必须设置三种类型的参数：general parameters, booster parameters and task parameters.。
"""
1.booster [default=gbtree](General Parameters)
使用哪种助推器，可以是gbtree，gblinear或dart。gbtree和dart使用基于树的模型，而gblinear使用线性函数。
2.max_depth [default=6](Parameters for Tree Booster)
树的最大深度，增加此值将使模型更复杂/可能过度拟合。0表示没有限制
3.sample_type [default="uniform"](Additional parameters for Dart Booster)
采样算法的类型。
"uniform":统一选择掉落的树木。
"weighted": 根据权重选择掉落的树木。
4.rate_drop [default=0.0](Additional parameters for Dart Booster)
辍学率（辍学期间先前树木的一小部分下降）,范围：[0.0,1.0]
5.skip_drop [default=0.0](Additional parameters for Dart Booster)
在增强迭代期间跳过丢失过程的概率。
6.'normalize_type': 'tree'归一化算法的类型
“树”：新树的每棵树都有相同的重量。
新树的重量是1 /（k + learning_rate）
丢弃的树按k /（k + learning_rate）系数缩放
“森林”：新树的落叶树木（森林）总重量相同。
新树的重量是1 /（1 + learning_rate）
丢弃的树缩放比例为1 /（1 + learning_rate）

"""
param = {'booster': 'dart',
         'max_depth': 5, 'learning_rate': 0.1,
         'objective': 'binary:logistic', 'silent': True,
         'sample_type': 'uniform',
         'normalize_type': 'tree',
         'rate_drop': 0.1,
         'skip_drop': 0.5}
#Command Line Parameters: 提升的轮次数
num_round = 50
bst = xgb.train(param, dtrain, num_round)

# 预测
preds = bst.predict(dtest)

preds

array([0.0199928 , 0.9782708 , 0.0199928 , ..., 0.981861  , 0.01849097,
       0.981861  ], dtype=float32)

参数说明文档链接