调参核心
- 调参1:提高准确率":num_leaves, max_depth, learning_rate
- 调参2:降低过拟合 max_bin min_data_in_leaf
- 调参3:降低过拟合 正则化L1, L2
- 调参4:降低过拟合 数据抽样 列抽样
调参方向:处理过拟合(过拟合和准确率往往相反)
-
使用较小的
max_bin
-
使用较小的
num_leaves
-
使用
min_data_in_leaf
和min_sum_hessian_in_leaf
-
通过设置
bagging_fraction
和bagging_freq
来使用bagging
-
通过设置
feature_fraction <1
来使用特征抽样 -
使用更大的训练数据
-
使用
lambda_l1, lambda_l2
和min_gain_to_split
来使用正则 -
尝试
max_depth
来避免生成过深的树