- 博客(6)
- 收藏
- 关注
RSS订阅原创 模型融合
模型融合:对调参完成的模型进行融合 简单加权融合: 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）； 分类：投票（Voting) 综合：排序融合(Rank averaging)，log融合 stacking/blending: 构建多层模型，并利用预测结果再拟合预测。 boosting/bagging（在xgboost，Adaboos...
2020-04-03 20:15:06
99
原创 lightgbm,xgboost 贝叶斯调参实列
lightgbm 调参 x_train,x_val,y_train,y_val = train_test_split(X_data,Y_data,test_size=0.3,random_state=3) import lightgbm as lgb from hyperopt import fmin, tpe, hp,space_eval,rand,Trials,partial,STATUS_O...
2020-04-02 19:39:50
1451
1
原创 xgboost与lightgbm调参
xgboost,lightgbm都是对GBDT方法做了不同的优化，在每一次增加一棵树时，根据上一轮的残差，采用的优化算法不同。所以，他们的基本调参方法类似，大概是： 1.选择较大的学习率，加快调参的速度 2.对决策树基本参数进行调参 3.对正则化参数进行调参 4.最后对学习率调参。 lightgbm 可以直接使用 categorical features（分类特征），但需要将分类特征转换为 int...
2020-03-31 14:35:20
406
原创 特征工程
特征工程 EDA分析后，对特征进一步分析处理。 异常处理 通过箱线图分析删除异常值； 3-sigma分析删除异常值： 数据符合正态分布： 至少有68%的数据，位于平均数1个标准差范围内（μ-σ,μ+σ) 至少有95%的数据，位于平均数2个标准差范围内（μ-2σ,μ+2σ) 至少有99.8%的数据，位于平均数3个标准差范围内（μ-3σ,μ+3σ) 长尾截断； ...
2020-03-24 23:01:08
180
原创 EDA-数据探索性分析
EDA-数据探索性分析 学习目标 EDA的价值主要在于进行数据集的验证，确定所获得数据集可以用来进行机器学习或深度学习 了解变量间的相互关系以及变量与预测值之间的关系 内容介绍 1.载入各种数据科学以及可视化库: 数据科学库 pandas、numpy、scipy； 可视化库 matplotlib、seabon； 其他； 2.载入数据： 载入训练集和测试集； 简略观察数据(head()+shap...
2020-03-24 11:52:32
415
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人