2021-03-25

本次学习了建模调参。要学习建模调参，首先要知道模型参数的含义，对于常用的需要调参的模型就是决策树，gbdt，xgboost，lightgbm，catboost 。他们各自的参数和解释如下：

1.决策树：
 criterion: 特征选取方法
splitter: 特征划分点选择方法
max_depth: 树的最大深度
 min_samples_split:节点再划分所需最少样本数
 min_samples_leaf: 叶子节点所需最少样本数
 min_weight_fraction_leaf: 叶子节点所有样本权重和
max_features: 划分考虑最大特征数
 max_leaf_nodes:最大叶子节点数
min_impurity_decrease/min_impurity_split: 划分最需最小不纯度
class_weight: 类别权重

2.gbdt

n_estimators：弱学习器的最大迭代次数
learning_rate：每个弱学习器的权重缩减系数
subsample：子采样，取值为(0,1]
init：初始化的时候的弱学习器
loss：损失函数，对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"
对于回归模型，有均方差"ls", 绝对损失"lad", Huber损失"huber"和分位数损失“quantile”

3.xgboost

booster：gbtree使用基于树的模型进行提升计算，gblinear使用线性模型进行提升计算
eta ：为了防止过拟合，更新过程中用到的收缩步长。
gamma ：损失函数减小的最小值
max_depth ：数的最大深度
min_child_weight ：叶子节点中最小的样本权重和
subsample：用于训练模型的子样本占整个样本集合的比例
colsample_bytree ：在建立树时对特征采样的比例
objective：
“reg:linear” –线性回归。
“reg:logistic” –逻辑回归。
“binary:logistic”–二分类的逻辑回归问题，输出为概率。
“binary:logitraw”–二分类的逻辑回归问题，输出的结果为wTx。
“count:poisson”–计数问题的poisson回归，输出结果为poisson分布。在poisson回归中，max_delta_step的缺省值为0.7。(used to safeguard optimization)
“multi:softmax” –让XGBoost采用softmax目标函数处理多分类问题，同时需要设置参数num_class（类别个数）
“multi:softprob” –和softmax一样，但是输出的是ndata * nclass的向量，可以将该向量reshape成ndata行nclass列的矩阵。没行数据表示样本所属于每个类别的概率。
base_score：起始预测分
eval_metric：校验数据所需要的评价指标，不同的目标函数将会有缺省的评价指标
early_stopping_rounds早期停止次数

4.lightgbm

调参指导：https://www.jianshu.com/p/3f114699c6ed

5.catboost

learning_rate(eta)=automatically

depth(max_depth)=6: 树的深度

l2_leaf_reg(reg_lambda)=3 L2正则化系数

n_estimators(num_boost_round)(num_trees=1000)=1000: 解决ml问题的树的最大数量

one_hot_max_size=2: 对于某些变量进行one-hot编码

loss_function=‘Logloss’:

 

本次介绍了三种调参方式：

1.网格搜索：通过交叉各种参数试出最好的方案，理论上效果最好，但是性能很差

2.贪心算法：每一次调整一个效果最好的参数，调完以后调下一个最好的，计算量小，但是可能陷入局部最优

3.贝叶斯调参：通过不断添加样本点来更新目标函数的后验分布，目标函数指机器学习模型使用该组超参数在验证集上的损失。通过贝叶斯思想猜测更好的调参方向，减少无用功