xgboost cross_validation&自定义目标函数和评价函数&base_score参数

1、

Xgboost参数的选择：

base_score：对于所有样本预测为正样本的全局偏置（the initial prediction score of all instances, global bia）。如果迭代次数够多，改变这个参数对结果不会有影响。

经验值：将base_score设定为#(正样本)/#(所有样本),对结果没有多少影响,但是可以减少迭代的次数。

2、Xgboost支持cross_validation

http://xgboost.readthedocs.io/en/latest/python/python_api.html

Xgboost的cross_validation是，先将数据集先切分成nfold份，然后每次迭代的时候，都会测试nfold次，(nfold-1)做训练集，nfold做测试集，每次迭代给出评测指标的均值和方差。

3、XGBoost可以允许自定义目标函数

XGBoost的train()函数在training.py中定义，其函数签名如下所示。

train()函数中有两个参数：obj和feval，其中这两个参数均指向函数引用，其默认值均为None，其中obj为目标函数（objective function），feval为评价函数。在train()函数中，obj和feval的默认值均为None，若其为赋值，则调用系统默认的对应函数，当用户自定义则调用用户定义的相应函数。

根据GBDT训练过程，当每步训练得到一颗数，会调用目标函数得到其梯度残差作为下一棵树拟合的目标，XGBoost在调用obj函数时会传入两个参数：preds和dtrain，其中preds为当前完成训练的所有数对训练的预测值，dtrain为训练集，可以通过dtrain.get_label()获取训练样本的label。同时XGBoost规定目标函数需返回当前preds基于训练label的一阶和二阶梯度。
　　由上述目标函数定义规则可以实现基于loglikelihood的目标函数如下：

上述logregobj()定义中，grad和hess分别为一阶和二阶梯度。函数定义参考链接: XGBoost自定义目标函数。

4、XGBoost可以允许自定义评价函数

GBDT训练中会每次巡接模型基于验证集评价，此时会调用评价函数，XGBoost的best_iteration和best_score均是基于评价函数得出。XGBoost中对于评价函数调用时同样会传入preds和dvalid，即为验证集和验证集上的预测值，返回值为一个字符串标识自定义评价函数的类型和一个flaot类型的fevalerror值表示评价值的大小，其是以error的形式定义，即当此值越大是认为模型效果越差。
　　XGBoost官方库中不支持以F1 Score来作为评价函数，用户可同过自定义feval实现，一种实现方式如下：