- 可用于回归和分类问题。
训练参数
让我们看一下CatBoost中的常用参数:
- loss_function 别名为 objective -用于训练的指标。这些是回归指标,例如用于回归的均方根误差和用于分类的对数损失。
- eval_metric —用于检测过度拟合的度量。
- iterations -待建的树的最大数量,默认为1000。别名是 num_boost_round, n_estimators和 num_trees。
- learning_rate 别名 eta -学习速率,确定模型将学习多快或多慢。默认值通常为0.03。
- random_seed 别名 random_state —用于训练的随机种子。
- l2_leaf_reg 别名 reg_lambda —成本函数的L2正则化项的系数。默认值为3.0。
- bootstrap_type —确定对象权重的采样方法,例如贝叶斯,贝努利,MVS和泊松。
- depth —树的深度。
- grow_policy —确定如何应用贪婪搜索算法。它可以是 SymmetricTree, Depthwise或 Lossguide。 SymmetricTree 是默认值。在中 SymmetricTree,逐级构建树,直到达到深度为止。在每个步骤中,以相同条件分割前一棵树的叶子。当 Depthwise 被选择,一棵树是内置一步步骤,直到指定的深度实现。在每个步骤中,将最后一棵树级别的所有非终端叶子分开。使用导致最佳损失改善的条件来分裂叶子。在中 Lossguide,逐叶构建树,直到达到指定的叶数。在每个步骤中,将损耗改善最佳的非终端叶子进行拆分
- min_data_in_leaf 别名 min_child_samples —这是一片叶子中训练样本的最小