xgb中参数分为三类
1.通用参数
2.集成参数
3.任务参数
1)随机森林在ligthgbm(有很多集成算法)中有,里面更全。
2)xgboost(里面有gdbt是树的串型叠加的各种包,梯度增强的方法)里面没有随机森林包。
xgboost是一个支持多种数据格式的库。libsvm数据存储格式,xgboost里面的数据格式xgboost.DMatrix(数据)
3)交叉验证是一个评估方法,是xgb自带的函数。
4)如果需要使用网格搜索交叉验证早最好的超参数,用简单模式的xgboost,与sklearn的GridSearchCV配合使用。
早停模式:
防止过拟合,在高级摸索和简单模式下都可以使用,
自定义损失函数
定义函数的一阶导数和二阶导数,在高级模式中使用。