对于基于决策树的模型,调参的方法都是大同小异。一般都需要如下步骤:
首先选择较高的学习率,大概0.1附近,这样是为了加快收敛的速度。这对于调参是很有必要的。
对决策树基本参数调参
正则化参数调参
最后降低学习率,这里是为了最后提高准确率
Step1. 学习率和估计器及其数目
Step2. max_depth 和 num_leaves
Step3: min_data_in_leaf 和 min_sum_hessian_in_leaf
Step4: feature_fraction 和 bagging_fraction
Step5: 正则化参数
step6: 降低learning_rate