2024年网络安全最全如何使用 CatBoost 进行快速梯度提升_catboost改进

• 可用于回归和分类问题。

训练参数

让我们看一下CatBoost中的常用参数：

• loss_function 别名为 objective -用于训练的指标。这些是回归指标，例如用于回归的均方根误差和用于分类的对数损失。
• eval_metric —用于检测过度拟合的度量。
• iterations -待建的树的最大数量，默认为1000。别名是 num_boost_round， n_estimators和 num_trees。
• learning_rate 别名 eta -学习速率，确定模型将学习多快或多慢。默认值通常为0.03。
• random_seed 别名 random_state —用于训练的随机种子。
• l2_leaf_reg 别名 reg_lambda —成本函数的L2正则化项的系数。默认值为3.0。
• bootstrap_type —确定对象权重的采样方法，例如贝叶斯，贝努利，MVS和泊松。
• depth —树的深度。
• grow_policy —确定如何应用贪婪搜索算法。它可以是 SymmetricTree， Depthwise或 Lossguide。 SymmetricTree 是默认值。在中 SymmetricTree，逐级构建树，直到达到深度为止。在每个步骤中，以相同条件分割前一棵树的叶子。当 Depthwise 被选择，一棵树是内置一步步骤，直到指定的深度实现。在每个步骤中，将最后一棵树级别的所有非终端叶子分开。使用导致最佳损失改善的条件来分裂叶子。在中 Lossguide，逐叶构建树，直到达到指定的叶数。在每个步骤中，将损耗改善最佳的非终端叶子进行拆分
• min_data_in_leaf 别名 min_child_samples —这是一片叶子中训练样本的最小