使用Optuna的XGBoost模型的高效超参数优化

介绍 ： (Introduction :)

Hyperparameter optimization is the science of tuning or choosing the best set of hyperparameters for a learning algorithm. A set of optimal hyperparameter has a big impact on the performance of any machine learning algorithm. It is one of the most time-consuming yet a crucial step in machine learning training pipeline.

^ h yperparameter优化调整或选择超参数为学习算法的最佳设置的科学性。 一组最佳超参数对任何机器学习算法的性能都有很大影响。 这是机器学习培训流程中最耗时但至关重要的步骤之一。

A Machine learning model has two types of tunable parameter :

机器学习模型具有两种可调参数：

· Model parameters

·型号参数

· Model hyperparameters

·模型超参数

source) 源 )

Model parameters are learned during the training phase of a model or classifier. For example :

在模型或分类器的训练阶段学习模型参数 。 例如 ：

• coefficients in logistic regression or liner regression
  逻辑回归或线性回归的系数
• weights in an artificial neural network
  人工神经网络中的权重

Model Hyperparameters are set by user before the model training phase. For example :

模型的超参数是由用户模型训练阶段之前设置。 例如 ：

• ‘c’ (regularization strength), ‘penalty’ and ‘solver’ in logistic regression
  logistic回归中的'c'(正则化强度)，'惩罚'和'solver'
• ‘learning rate’, ‘batch size’, ‘number of hidden layers’ etc. in an artificial neural network
  人工神经网络中的“学习率”，“批大小”，“隐藏层数”等

The choice of Machine learning model depends on the dataset, the task in hand i.e. prediction or classification. Each model has its own unique set of hyperparameter and the task of finding the best combination of these parameter is known as hyperparameter optimization.

机器学习模型的选择取决于数据集，手头的任务，即预测或分类。 每个模型都有其独特的超参数集，找到这些参数的最佳组合的任务称为超参数优化。

For solving hyperparameter optimization problem there are various methods are available. For example :

为了解决超参数优化问题，有多种方法可用。 例如 ：

• Grid Search
  网格搜索
• Random Search
  随机搜寻
• Optuna
  奥图纳
• HyperOpt
  超级光电

In this post, we will focus on Optuna library which has one of the most accurate and successful hyperparameter optimization strategy.

在本文中，我们将重点介绍Optuna库，该库具有最准确，最成功的超参数优化策略。

Optuna： (Optuna :)

Optuna is an open source hyperparameter optimization (HPO) framework to automate search space of hyperparameter. For finding an optimal set of hyperparameters, Optuna uses Bayesian method. It supports various types of samplers listed below :

Optuna是一个开源的超参数优化(HPO)框架，用于自动执行超参数的搜索空间。 为了找到最佳的超参数集，Optuna使用贝叶斯方法。 它支持下面列出的各种类型的采样器：

• GridSampler (using grid search)

  GridSampler (使用网格搜索)

• RandomSampler (using random sampling)

  RandomSampler (使用随机采样)

• TPESampler (using Tree-structured Parzen Estimator algorithm)

  TPESampler (使用树结构的Parzen估计器算法)

• CmaEsSampler ( using CMA-ES algorithm)