【超参数调优】Optuna

Optuna 是一个自动化超参数优化软件框架，旨在帮助数据科学家和机器学习工程师高效地找到模型的最佳超参数组合。它通过贝叶斯优化、进化策略等方法智能搜索超参数空间，从而提高模型的性能。Optuna 易于使用且支持多种机器学习框架，如 TensorFlow、PyTorch、XGBoost、LightGBM 等。

一、Optuna 的主要特点

1. 自动化的超参数优化

Optuna 提供了一种自动化的方法来优化超参数，用户只需要定义一个目标函数（即需要优化的模型和超参数组合），Optuna 将负责搜索最佳参数。

2. 高效的搜索算法

Optuna 采用了贝叶斯优化、Tree-structured Parzen Estimator (TPE) 等先进的搜索算法，能够在较少的试验次数内找到最优解。

3. 易于集成

Optuna 可以与多种机器学习框架无缝集成，如 TensorFlow、PyTorch、XGBoost、LightGBM 等，用户只需对现有代码做少量修改。

4. 灵活的搜索空间定义

Optuna 允许用户灵活地定义超参数的搜索空间，包括连续型、离散型和条件型超参数。

5. 结果可视化

Optuna 提供了一些工具来可视化优化过程和结果，帮助用户更好地理解和分析优化结果。

二、Optuna 的基本用法

以下是一个使用 Optuna 进行超参数优化的简单示例：

安装 Optuna

首先，你需要安装 Optuna。可以通过 pip 进行安装：

pip install optuna

定义目标函数

目标函数需要接受一个 optuna.trial 对象，并返回一个需要最小化（或最大化）的值。下面是一个优化 LightGBM 模型超参数的示例：

import optuna
import lightgbm as lgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
data = load_iris()
X = data.data
y = data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义目标函数
def objective(trial):
    # 定义超参数搜索空间
    param = {
        'objective': 'multiclass',
        'num_class': 3,
        'metric': 'multi_logloss',
        'boosting_type': 'gbdt',
        'learning_rate': trial.suggest_loguniform('learning_rate', 1e-3, 1e-1),
        'num_leaves': trial.suggest_int('num_leaves', 20, 150),
        'feature_fraction': trial.suggest_uniform('feature_fraction', 0.5, 1.0),
        'bagging_fraction': trial.suggest_uniform('bagging_fraction', 0.5, 1.0),
        'bagging_freq': trial.suggest_int('bagging_freq', 1, 10)
    }

    # 创建 LightGBM 数据集
    train_data = lgb.Dataset(X_train, label=y_train)
    test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)

    # 训练模型
    gbm = lgb.train(param, train_data, valid_sets=[test_data], num_boost_round=100, early_stopping_rounds=10, verbose_eval=False)
    
    # 预测
    y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
    y_pred = [list(x).index(max(x)) for x in y_pred]  # 获取每行最大值的索引作为预测类别

    # 计算准确率
    accuracy = accuracy_score(y_test, y_pred)
    return accuracy

# 创建研究对象
study = optuna.create_study(direction='maximize')  # 目标是最大化准确率
study.optimize(objective, n_trials=50)  # 进行 50 次试验

# 输出最佳结果
print(f'Best trial: {study.best_trial.value}')
print(f'Best parameters: {study.best_trial.params}')

输出解释

• study.best_trial.value：这是最佳试验的目标值。在这个示例中，这个值是模型在测试集上的最佳准确率。

• study.best_trial.params：这是最佳试验的超参数组合。Optuna 通过搜索这些参数来达到最佳的模型性能。

示例输出

运行上述代码后，你可能会看到类似以下的输出：

Best trial: 0.9666666666666667
Best parameters: {
    'learning_rate': 0.0123456789,
    'num_leaves': 45,
    'feature_fraction': 0.8,
    'bagging_fraction': 0.9,
    'bagging_freq': 5
}

这表示在50次试验中，最佳模型在测试集上的准确率达到了 96.67%，对应的最佳超参数组合为：

• 学习率（learning_rate）：0.0123456789
• 叶子数（num_leaves）：45
• 特征分数（feature_fraction）：0.8
• 装袋分数（bagging_fraction）：0.9
• 装袋频率（bagging_freq）：5

三、Optuna 的应用场景

Optuna 适用于多种机器学习任务的超参数优化，包括但不限于：

• 分类：如 XGBoost、LightGBM、随机森林等模型的超参数调优。
• 回归：如线性回归、岭回归、Lasso 回归等模型的超参数调优。
• 神经网络：如 TensorFlow、PyTorch 等框架中的深度学习模型的超参数调优。

通过使用 Optuna，可以显著提高模型的性能，同时减少手动调参的时间和精力。