机器学习-xgboost

xgb中参数分为三类

1.通用参数

2.集成参数

3.任务参数

1）随机森林在ligthgbm（有很多集成算法）中有，里面更全。

2）xgboost（里面有gdbt是树的串型叠加的各种包，梯度增强的方法）里面没有随机森林包。

    xgboost是一个支持多种数据格式的库。libsvm数据存储格式，xgboost里面的数据格式xgboost.DMatrix（数据）

3）交叉验证是一个评估方法，是xgb自带的函数。

4）如果需要使用网格搜索交叉验证早最好的超参数，用简单模式的xgboost，与sklearn的GridSearchCV配合使用。

早停模式：

防止过拟合，在高级摸索和简单模式下都可以使用，

自定义损失函数

定义函数的一阶导数和二阶导数，在高级模式中使用。