模型优化有技巧，这两方法需记牢

在建立风控模型的过程中，我们最终的期望是获取一个性能表现较优的模型，但在实际业务场景中，由于很多机器学习模型算法的参数较多，通过手动调参方式来优化模型不仅特别耗时，而且很难得到较为理想的结果。这种情况尤其是针对随机森林、XGBoost、LightGBM等算法模型，在模型训练环节采用默认参数并不能得到较优模型，但为了提升模型效果，参数的不断调优与测试往往是一个重要且必要的任务。本文将围绕此类实际情况，对模型性能优化方面的参数自动化搜索内容进行介绍，描述模型参数调优最常见的两种搜索策略，分别为网格搜索与随机搜索，具体描述将会结合实际案例来进行解读分析。
我们先来了解下案例场景，建模样本数据共包含10000条样本与10个特征，部分数据样例如图1所示，其中ID为样本主键，X01~X10为特征变量，Y为目标变量（取值二分类1/0代表是否违约），场景具体需求是通过特征变量池，建立一个针对风控贷前环节的申请用户违约预测模型。
​

图1 样本数据

根据以上实例数据，现采用XGBoost决策树集成学习算法来实现模型的开发，一方面是XGBoost作为经典的树模型在实际信贷风控应用中较广，而且XGBoost算法的超参数较多，也符合本文要讲解的多参数自动化调优的业务背景。
下面我们将建模数据按照7:3比例随机拆分为训练集与测试集，并采用算法的默认参数组合在训练样本集上来训练拟合模型，同时通过测试样本集上来评估模型的效果，具体实现过程与模型指标结果如图2所示。
​
图2 模型训练与评估

XGBoost模型的默认参数如图3所示，在这样输入参数组合下的模型性能指标为accuracy=0.5373、AUC=0.5319（参见上图模型评估print结果）。对于模型的参数调优往往是一个必然过程，而结合实际建模经验，图3中的参数n_estimators（树的数量）、max_depth（树的深度）、learning_rate（学习率）等都是模型调参的主要对象。

图3 XGBoost默认参数

接下来我们通过模型参数的自动搜索方法来优化模型，先后介绍网格搜索、随机搜索的原理逻辑与实现过程，并以重要参数n_estimators（树的数量）、max_depth（树的深度）、learning_rate（学习率）为例，对前边默认参数下的XGBoost违约预测模型进行性能优化。

1、网格搜索
网格搜索是将参数对象交叉形成的所有组合进行遍历，比如参数有3个且每个参数有3个取值，那么对应有333=27种参数组合，网格搜索是尝试将所有组合完成测试与比较。这种方法由于输入参数组合完整度较好，在实际应用中最为常见，在python中可以通过调用sklearn库中GridSearchCV来实现，其中GridSearch代表网格搜索，而CV代表交叉验证（另一种优化模型策略，经常与参数搜索结合应用）。
现对参数n_estimators、max_depth、learning_rate分别各取3种情况，这里需要注意的是，最好将模型默认参数也放入其中（n_estimators=100、max_depth=6、learning_rate=0.3），便于最终的模型性能对比。这里为了提高效率仅做示例，模型调优各参数的取值分布为：n_estimators={50,100,200}，max_depth={3,6,10}、learning_rate={0.1,0.3,0.5}。针对模型参数调优的网格搜索实现过程如图4所示，最后通过best_params_输出最优参数组合如图5所示。
​
图4 网格搜索参数调优

​

图5 网格搜索最优参数

通过网格搜索在预先给定的参数范围内得到了最优参数后，然后将其重新入模在训练数据集拟合模型，并在验证数据集评估模型的性能效果，其过程与图2一致，只是模型输入参数进行了调整，具体如图6所示。
​
图6 网格搜索模型优化

从模型最终结果来看，调优后模型的accuracy（0.5610）、AUC（0.5395）与之前默认参数下模型的accuracy（0.5373）、AUC（0.5319）均有一定提升，说明网格搜索对模型参数调优的有效性。

2、随机搜索
随机搜索是针对参数取值范围，不需要尝试所有可能的参数组合，而是从搜索参数范围内随机采样进行测试，而且搜索次数是可以通过参数自由指定的。随机搜索与网格搜索相比，效率更为快速，尤其是在参数较多且取值范围较大的情况，随机搜索表现更为高效，因此在类似机器学习树模型参数调优的场景中也经常得到应用。随机搜索在python中可以通过调用sklearn库中RandomizedSearchCV来实现，其中RandomizedSearch代表随机搜索，而CV代表交叉验证。
现采用与网格搜索同样的参数范围，通过随机搜索方法来优化模型，具体实现过程如图7所示，并将最优参数组合输出如图8所示。
​
图7 随机搜索参数调优
​

图8 随机搜索最优参数

通过随机搜索在预先给定的参数范围内得到了最优参数后，同样在测试数据集上来验证下效果，实现过程与结果如图9所示。

图9 网格搜索模型优化

从模型最终结果来看，调优后模型的accuracy（0.5607）、AUC（0.5478）与之前默认参数下模型的accuracy（0.5373）、AUC（0.5319）均有一定提升，说明随机搜索对模型参数调优也有较好的表现。
综合以上内容，我们先后采用网格搜索、随机搜索两种最常见的参数搜索方法，对默认参数下模型的性能进行了优化，最后通过模型相关指标的对比（如图10）也验证了网格搜索与随机搜索的有效性，即模型的准确度和区分度都有一定的提升。
​
图10 模型优化前后对比

当然，上图展示的模型性能结果，虽然反映了网格搜索、随机搜索在模型参数调优的好处，但本文为了演示整个实现过程与效果，仅仅从模型参数中选择了较为常见的3个参数（n_estimators、max_depth、learning_rate），且各参数的取值范围只有3种取值情况。如果将参数数量与取值类别的范围扩大，模型性能优化后的效果会更为明显。在机器学习模型调优的实际场景中，需要结合模型算法属性、样本数据情况、服务器性能、参数重要程度等维度进行综合考虑，适当选择合理的参数范围，以及参数优化的搜索方法，从而实现模型应用效果的提升。
为了便于大家对常见参数搜索方法下模型性能调优的理解与熟悉，我们准备了与本文内容同步的样本数据和python代码，供大家参考学习，详情请移至知识星球查看相关内容。
​

…
~原创文章