xgboost objective和eval_metric的区别

最新推荐文章于 2023-05-26 22:25:17 发布
最新推荐文章于 2023-05-26 22:25:17 发布
阅读量3.8k 收藏 6
点赞数 5
分类专栏： 机器学习 文章标签： 机器学习 xgboost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YangTinTin/article/details/106997090
版权

之前对于xgboost中的两个参数objective和eval_metric一直分不清楚，不知道它们各自的作用。后来通过查找资料理清了他们之间的关系。这里记录一下。

1、objective

objective参数代表的是模型的损失函数，也就是我们进行优化的目标。

这里要注意损失函数与目标函数的区别，一般情况下，我们说的损失函数就是目标函数，但是一些模型如xgboost要求目标函数要有一阶导数和二阶导数才能进行优化，而很多目标函数是没有一阶导数或二阶导数的，所以这时就用具有相似结果的损失函数来代替（如果损失函数能够很好地替代目标函数，这是最好的情况，如果替代效果不佳，则影响模型优化）。在模型优化中，我们使用的都是损失函数。
objective是训练模型必备的函数，只有定义了objective模型才能进行训练

2、eval_metric函数
eval_metric是评价函数，对模型的训练没有影响，而是在模型训练完成之后评估模型效果。如我们经常使用logloss作为objective，经常与之搭配的评价函数是auc、acc等。

为什么评价的时候不用objective呢？本来就是用objective来优化的，自己评价自己就没多大意义了，所以一般需要来自另一个评分机制的eval_metric来评估模型效果。

eval_metric对于训练模型没有影响，即使我们不定义这个函数模型也可以正常训练。

参考文献：
xgboost中Objective和feval之间的差异
XGBoost自定义评价函数(feval)

鸡汤本汤
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【MXNet学习9】MXNet框架如何自定义evaluation metric
qq_35091353的博客
09-26 448
1、评价标准（Evaluation Metric） 使用深度学习框架训练模型的时候都需要用到评价标准，比如准确率等，那么在MXNet框架下，这些评价标准(Evaluation Metric)是怎么实现的呢？如果我们要自定义一个不一样的评价标准要怎么做？一起来了解下吧。 首先来看看在MXNet框架下关于evaluation metric的最基本的类和脚本。mxnet.metric.EvalMetric是MXNet框架中计算评价标准（evaluation metric）的基础类，这个基础类是在MXNet项目的/
pyspark-xgboost.zip
06-25
'eval_metric': 'logloss' } xgb_model = XGBoostEstimator(featuresCol='features', labelCol='label', params=params) xgb_model.fit(data) ``` 最后，使用模型进行预测并评估性能： ```python predictions = ...
xgboost 之 eval_metric参数的应用以及构造损失函数的变化情况图
热门推荐
enjoy
05-07 3万+
在训练的时候很多人想查看训练集和验证集的训练情况，但不知道如何打印出来或者形成图 现在我教教大家，查看了xgboost 的api 确实有一个eval_metric参数可以输出训练情况 1.首先在params中设定eval_metric,记住这个属性和lightgbm不一样lightgbm是用metric={“logloss,"auc”}这种map形式，xgboost是应用list形式的，eva...
XGBoost自定义测评函数eval_metric
赵大宝的博客
04-29 1万+
How to custom evaluation metric for XGBoost in Python # -*- coding: utf-8 -*- from sklearn.cross_validation import train_test_split from sklearn.datasets import load_digits import xgboost as xgb fr...
【干货】 xgboost如何自定义eval_metric ( feval ) ？
weixin_38100489的博客
12-04 2万+
【干货】 xgboost如何自定义eval_metric ( feval ) ？原文地址：问题来源是，xgboost的eval_metric里如果没有你要用的，比如kaggle里有用到的rmsle就没有就需要自己定义。http://xgboost.readthedocs.io/en/latest/parameter.html 上代码：（把eval_metric变成rmsle的例子）dtrain=x
机器学习算法总结之XGBoost（下） 实战与调参
Kaiyuan_sjtu的博客
11-01 1227
写在前面 XGBoost原理已在前一篇有过说明：机器学习算法总结之XGBoost（上） 本文思路与之前一篇GBDT调参（ 基于scikit-learn的梯度提升树GBDT调参学习）思路相同，先遍历xgboost算法所有参数，明白其意思之后开始实战调参，数据集我还是打算选择Kaggle上的Titanic: Machine Learning from Disaster，保持工作一致性。 参考资料...
xgb_python算法_xgboost_xgboost二分类_源码
10-02
param = {'eta': 0.3, 'max_depth': 5, 'objective': 'binary:logistic', 'eval_metric': 'logloss'} steps = 100 model = xgb.train(param, dtrain, steps) ``` 这里我们使用的是二分类问题，所以目标函数设为'...
Xgboost案例源代码.zip
05-24
9. **模型评估与验证**：Xgboost内置交叉验证功能，通过`eval_metric`参数设置评价指标，如RMSE（均方根误差）或AUC（受试者工作特征曲线下的面积）。 10. **调参技巧**：通常采用网格搜索、随机搜索或贝叶斯优化等...
编译好的xgboost库
01-14
'eval_metric': 'logloss' } ``` 4. **训练模型**： 使用`xgb.train()`函数训练模型。 ```python model = xgb.train(params, dtrain, num_boost_round=100) ``` 5. **预测与评估**： 训练完成后，使用模型...
xgboost算法,xgboost算法原理,Python
09-10
'eval_metric': 'rmse' # 评估指标为均方根误差 } # 训练模型 bst = xgb.train(param, dtrain, num_boost_round=100) # 预测 preds = bst.predict(dtest) # 计算RMSE rmse = np.sqrt(mean_squared_error(y_test,...
XGB 训练的时候添加自定义eval_metric：f1、准确率，并对样本、特征加权训练
WGS.
04-07 5490
文章目录XGB 训练的时候添加自定义eval_metric：f1、准确率，并对样本、特征加权训练随机搜索 XGB 训练的时候添加自定义eval_metric：f1、准确率，并对样本、特征加权训练 以下demo重点说明： eval_metric：用以训练的时候评估，必须要指定验证集，本博文分享自定义准确率、f1 verbose：训练的时候对验证集评估是否打印，True和1等价，比如verbose=10，就会打印n_estimators // 10次 feature_weights：特征加权训练，给一个sof
xgboost 自定义评价函数（metric）与目标函数
anqiu4023的博客
05-27 615
比赛得分公式如下： 其中，P为Precision , R为 Recall。 GBDT训练基于验证集评价，此时会调用评价函数，XGBoost的best_iteration和best_score均是基于评价函数得出。 评价函数： input: preds和dvalid，即为验证集和验证集上的预测值， return string 类型的名称 和一个flaot类...
xgboost中如何自定义metric
AcceptedLin的博客
07-21 1515
xgboost中如何自定义metric xgboost算法取precision≥0.97的情况下，recall的最大值。那无疑这个测评函数是要自己写的（官方没给），可是我怎么把它放进xgboost里呢？这样我设置silent=1时，我每一步都能看到train和eval上的结果。 起初以为在param里定义了就行，但屡屡报错，后来终于找到...
集成学习01_xgboost参数讲解与实战
u012338969的博客
11-06 2943
xgboost 参数详解，实战案例，最优参数网格搜索
多分类损失函数和评价指标（objectives and metrics）
zephyr_wang的博客
03-15 2032
多分类损失函数和评价指标（objectives and metrics）
【机器学习】XGBoost 原理及调参指南 整理
CWS_chen
05-31 4069
XGBoost XGBoost能自动利用cpu的多线程，而且适当改进了gradient boosting，加了剪枝，控制了模型的复杂程度 传统GBDT以CART作为基分类器，特指梯度提升决策树算法，而XGBoost还支持线性分类器(gblinear)，这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 传统GBDT在优化时只用到一...
深度剖析集成学习Xgboost
[ 25'h ]
07-26 2万+
Xgboost 3.0 原理概述 3.0.1 基本思想和特点 3.1 参数概况 3.1.0 参数建议 3.1.1 Xgboost实现的sklearn接口 3.1.2 Xgboost原生库 3.2 objective损失函数 3.3 迭代过程参数 3.3.1 num_boost_round&eta 3.3.2 base_score 3.3.3 max_delta_step 3.4 目标函数 3.5 三大评估器与DART树 3.2 学习曲线（没啥用） 3.3 n_estimators参数对于模型的影响 3.3.
【MATLAB第37期】 #保姆级教程 XGBOOST模型参数完整且详细介绍，调参范围、思路及具体步骤介绍
随风飘摇的土木狗的博客
05-26 1万+
1.XGBoost模型[default=gbtree]有两种模型可以选择gbtree和gblinear。gbtree使用基于树的模型进行提升计算，gblinear使用线性模型进行提升计算。其中gbtree的效果要远好于gblinear。2.objective目标函数 [ default=reg:linear ]定义学习任务及相应的学习目标，可选的目标函数如下：“reg:linear” –线性回归。“reg:logistic” –逻辑回归。
xgboost 多分类：objective参数（reg:linear,multi:softmax,multi:softprob）对比分析
lizz2276的博客
05-23 4541
一、问题 上篇文章中我们已经搞明白了逻辑回归的问题中，xgboost的train（）,fit（）方法以及不同参数的objective的对应的输出结果和关系，这篇文章我们就来研究下xgboost再做多分类时，train(),fit（）建模后输出的值是怎么样的，它都有那些objective的参数，并且分别对应着怎样的输出？ 二、objective参数比较 xgboost的官方文档关于多分类的objective如下： 从文档中我们可以看出，multi：softmax是使用softmax后产生的分类结果，而
objective和eval_metric还有几种参数？
最新发布
07-14
在XGBoost中，`objective`和`eval_metric`都有多种可选参数。下面是一些常见的参数选项： `objective`参数的常见选项： - `reg:linear`: 线性回归问题。 - `reg:logistic`: 逻辑回归问题。 - `binary:logistic`: 二分类问题的逻辑回归，输出概率。 - `binary:logitraw`: 二分类问题的逻辑回归，输出原始分数。 - `multi:softmax`: 多分类问题，使用softmax作为目标函数。 - `multi:softprob`: 多分类问题，输出样本属于每个类别的概率。 `eval_metric`参数的常见选项： - `rmse`: 均方根误差。 - `mae`: 平均绝对误差。 - `logloss`: 负对数似然损失。 - `error`: 二分类错误率。 - `merror`: 多分类错误率。 - `auc`: 曲线下面积。 - `ndcg`: 归一化折损累计增益。 - `map`: 平均精确率均值。 以上只是一些常见的选项，实际上XGBoost支持更多的目标函数和评估指标。你可以根据具体的问题类型和需求选择合适的参数。详细的参数选项可以参考XGBoost的官方文档。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值