xgboost回归损失函数自定义【一】

最新推荐文章于 2024-04-16 09:31:46 发布
最新推荐文章于 2024-04-16 09:31:46 发布
阅读量8.1k 收藏 25
点赞数 9
文章标签： 人工智能 python 大数据
原文链接：https://my.oschina.net/u/2996334/blog/3006786
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

写在前面：

每当提到损失函数，很多人都有个误解，以为用在GridSearchCV（网格搜索交叉验证“Cross Validation”）里边的scoring就是损失函数，其实并不是。我们使用构造函数构造XGBRegressor的时候，里边的objective参数才是真正的损失函数（loss function）。xgb使用sklearn api的时候需要用到的损失函数，其返回值是一阶导和二阶导，而GridSearchCV使用的scoring函数，返回的是一个float类型的数值评分（或叫准确率、或叫偏差值）。

You should be careful with the notation.

There are 2 levels of optimization here:

  1. The loss function optimized when the XGBRegressor is fitted to the data.
  2. The scoring function that is optimized during the grid search.

I prefer calling the seco

最低0.47元/天 解锁文章
weixin_33806300
关注
  • 9
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
构建跨季节机器学习模型：自定义xgboost模型损失函数方案
data+scenario+science+insight
10-24 298
构建跨季节机器学习模型：自定义xgboost模型损失函数 构建跨季节机器学习模型： 许多机器学习模型具有季节性； 基于问题的迭代分析，我们可能需要构建自定义的损失函数；在自定义损失函数中计算梯度和嗨森矩阵； 注意：使用xgboost包的xgboost API而不是使用sklearn类似的API #自定义损失函数； #weight其实就是不同季节对应的不同的权重参数，例如，以温度预测模型为例，个别地域，温度在秋天和春天波动较大，那么我们可以加大对对应月份的训练样本的惩罚力度
XGBOOST自定义损失函数
weixin_44055664的博客
08-16 462
import osseed = 1# 加载数据集# 划分训练集和测试集# 转换数据格式为DMatrix# 设置模型参数params = {'objective': 'binary:logistic', # 二分类逻辑回归'eval_metric': 'error', # 评估指标为错误率# 训练模型num_rounds = 100 # 迭代次数# 预测y_pred_binary = [1 if p > 0.1 else 0 for p in y_pred] # 将概率转换为类别。
xgboost回归损失函数自定义【二】不同目标函数对比
weixin_34261739的博客
02-09 2337
2019独角兽企业重金招聘Python工程师标准>>> ...
探索时间序列预测的新星：ARIMA + XGBoost + RNN 模型
最新发布
gitblog_00014的博客
04-16 568
探索时间序列预测的新星：ARIMA + XGBoost + RNN 模型 项目地址:https://gitcode.com/Jenniferz28/Time-Series-ARIMA-XGBOOST-RNN 该项目链接：https://gitcode.com/Jenniferz28/Time-Series-ARIMA-XGBOOST-RNN 在数据分析和预测领域，时间序列分析扮演着重要角色，尤其在...
[机器学习] XGBoost 自定义损失函数-FocalLoss
摩登都市天空---专栏
10-27 1万+
xgboost+Focal Loss Focal Loss的主要思想就是改变损失函数。可以参考https://www.cnblogs.com/king-lps/p/9497836.html xgboost如果想应用focal loss可以使用自定义损失函数来实现。 首先介绍一个比较好用的求导的python包 sympy。用这个包来求导，可以比较轻松求出一阶导和二阶导。 from sympy import * # y指的是true label # p指的是预测出来的概率值（是经过sigmoid转.
[机器学习] XGB/LGB---自定义损失函数与评价函数
摩登都市天空---专栏
11-12 6952
一 自定义评价函数 Q: 评价函数为什么会影响模型训练？ A: 评价函数会决定best_iteration、best_score在哪里取得最优解。 XGBoost模型支持自定义评价函数和损失函数。只要保证损失函数二阶可导，通过评价函数的最大化既可以对模型参数进行求解。实际使用中，可以考虑根据业务目标对这两者进行调整。 举个例子，假设现在有一个提额模型，用处是将分数最高的20%客户给与更高的额度。也就是期望分数最高的20%的客群正样本捕获率最大化。可能在保证上述前提，同时保证模型对正负样本有一定的区分
双因素方差检验(Two factor variance test)
fulk6667g78o8的专栏
07-23 2817
在公众号「python风控模型」里回复关键字：学习资料，就可免费领取。概述双因素方差分析（Double factor variance analysis) 有两种类型：一个是无交互作用的双因素方差分析，它假定因素A和因素B的效应之间是相互独立的，不存在相互关系；另一个是有交互作用的双因素方差分析，它假定因素A和因素B的结合会产生出一种新的效应。例如，若假定不同地区的消费者对某种品牌有与其他地区消费者不同的特殊偏爱，这就是两个因素结合后产生的新效应，属于有交互作用的背景；否则，就是无交互作用的背景。数据来源h
tensorflow 自定义损失函数示例代码
09-18
主要介绍了tensorflow 自定义损失函数示例,代码简单易懂，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
Keras之自定义损失(loss)函数用法说明
01-20
在Keras中可以自定义损失函数，在自定义损失函数的过程中需要注意的一点是，损失函数的参数形式，这一点在Keras中是固定的，须如下形式： def my_loss(y_true, y_pred): # y_true: True labels. TensorFlow/Theano ...
利用scipy.optimize 模块中minimize函数求解线性回归损失函数的最小值的数据
09-05
利用scipy.optimize 模块中minimize函数求解线性回归损失函数的最小值的数据
keras自定义损失函数并且模型加载的写法介绍
09-16
此外，另一个补充知识点是如何使用自定义的损失函数和评价指标进行训练和预测。在模型编译时，除了定义损失函数，我们还需要指定优化器（如 Adam）和一个或多个评估指标。在训练过程中，Keras 将使用这些指标来监控...
logistic回归的损失函数（lost function）原理
01-06
logistic回归的损失函数和极大似然估计的关系 记 Φ(x)=11+e−θx \Phi(x)=\frac{1}{1+e^-{\theta x}} Φ(x)=1+e−θx1​ 我们可以把这个sigmoid函数的值看做y等于1的后验估计概率，也就是： p(y=1∣x)=Φ(x) p(y=1|...
xgboost使用自定义的loss function
春华秋实
11-20 6086
下面给一个官方demo代码： 参考：https://github.com/dmlc/xgboost/blob/master/demo/guide-python/custom_objective.py #!/usr/bin/python import numpy as np import xgboost as xgb ### # advanced: customized loss funct
xgboost中自定义损失函数的使用方法
热门推荐
hfzd24的博客
08-08 2万+
起初以为在param里定义了就行，但屡屡报错，后来终于找到了方法。 首先是metric的写法： def maxRecall(preds,dtrain): #preds是结果（概率值），dtrain是个带label的DMatrix labels=dtrain.get_label() #提取label preds=1-preds precision,recall,thr
如何开发 LightGBM集成树算法模型
fulk6667g78o8的专栏
10-07 1170
在公众号「python风控模型」里回复关键字：学习资料，就可免费领取。 python风控模型 持牌照金融公司模型专家，教学主页 https://ke.qq.com/teacher/231469242?tuin=dcbf0
Python训练自定义损失函数与评价指标的XGBoost，并在Java环境调用模型
qiyou1998_的博客
07-20 3094
xgboost自定义损失函数和评价指标
XGBoost
doswynkfsw的博客
05-02 1209
背景 XGB(Xtreme Gradient Boosting) 在GBDT的基础上，有了XGB。XGB"(eXtreme Gradient Boosting极端梯度提升)本质还是一个GBDT(GradientBoostingDecisionTree），XGB的本质还是一个GBDT, 但是在速度和效率上都发挥到了极致，XGB和GBDT比较大的不同就是目标函数的定义。XGB使用泰勒展开来近似目标函数。 二阶泰勒展开公式： 最小化下列损失函数， γ\gammaγ和λ\lambdaλ是预先设定的超参数, TT
机器学习-关于自定义损失函数（tensorflow笔记）
forest小拳拳
05-21 1149
对于回归问题，最常用的损失函数是均方误差（MSE，mean squared error），但是对于实际问题，MSE可能是最接近于真实答案，但却不是能使实际问题利益最大化的选择。比如对于预测商品销量的问题，如果预测多了（预测值大于真实销量），损失的是商品的成本，如果预测少了（预测值小于真实销量），损失的是商品的利润。那有可能多预测一个少挣1元，而少预测一个就可能少挣10元。因此需要将损失函数与利润直...
【机器学习】 XGBoost算法梳理
weixin_39982211的博客
04-10 464
前言：XGBoost原理上跟普通GBDT一样，都属于集成算法中的boost类。boost的原理可以看我的另外两篇介绍集成学习的文章，这里不多赘述。所以这篇文章主要在XGB与普通GBDT不同之处进行讨论。 1.损失函数 XGB的损失函数是支持自定义的，只要满足二阶可导即可。 XGB的损失函数除了拟合上一轮残差部分，还自带了两个损失项以减少树模型复杂度： 先讨论简单的，正则化部分： ...
xgboost 自定义损失函数
03-28
XGBoost是一种常用的梯度提升框架，在分类和回归问题中具有广泛的应用。它是一种基于决策树的模型，通过迭代地提高每个决策树的预测能力，最终得到一个强大的集成模型。XGBoost支持自定义损失函数，使得用户可以根据自己的需求来定义损失函数。 在XGBoost中，损失函数的定义是通过构建一个二阶泰勒展开式得到的。具体而言，假设我们要定义一个自定义的损失函数$L(y,\hat{y})$，其中$y$是真实值，$\hat{y}$是预测值。那么，我们可以通过以下方式来构建损失函数： 1. 定义一阶导数和二阶导数 $$ g_i=\frac{\partial L(y_i,\hat{y}_i)}{\partial \hat{y}_i}\\ h_i=\frac{\partial^2 L(y_i,\hat{y}_i)}{\partial \hat{y}_i^2} $$ 其中$i$表示样本的索引，$g_i$是损失函数$L(y_i,\hat{y_i})$在$\hat{y_i}$处的一阶导数，$h_i$是损失函数$L(y_i,\hat{y_i})$在$\hat{y_i}$处的二阶导数。 2. 在XGBoost的目标函数中引入自定义的损失函数 $$ Obj(\theta)=\sum_{i=1}^nl(y_i,\hat{y}_i)+\sum_{i=1}^t\Omega(f_i)+\gamma T $$ 其中$l(y_i,\hat{y}_i)$是样本$i$的损失函数，$\Omega(f_i)$是树$f_i$的正则化项，$\gamma$是正则化参数，$T$是树的数量。对于分类问题，$l(y_i,\hat{y}_i)$可以是对数似然损失函数或指数损失函数等；对于回归问题，$l(y_i,\hat{y}_i)$可以是平方损失函数或绝对损失函数等。 3. 将自定义的损失函数表示成$g_i$和$h_i$的形式 为了将自定义的损失函数$L(y,\hat{y})$表示成$g_i$和$h_i$的形式，我们需要对$L(y,\hat{y})$进行二阶泰勒展开： $$ L(y,\hat{y})\approx \sum_{i=1}^n\left[L(y_i,\hat{y}_i)+g_i(\hat{y}_i-\hat{y})+\frac{1}{2}h_i(\hat{y}_i-\hat{y})^2\right] $$ 4. 实现自定义的损失函数 将自定义的损失函数表示成$g_i$和$h_i$的形式后，我们可以将它们带入XGBoost的目标函数中，从而实现自定义的损失函数。具体而言，我们需要重载XGBoost中的两个函数： * \_\_call\_\_(self, preds, labels) * create\_obj(self) 第一个函数用于计算预测值和真实值的损失函数值，第二个函数用于创建自定义的目标函数。在这两个函数中，我们需要根据自定义的损失函数来计算$g_i$和$h_i$，并将它们传递给XGBoost的目标函数。 下面是一个简单的例子，展示了如何在XGBoost中实现自定义的损失函数： ```python import xgboost as xgb import numpy as np # 定义自定义的损失函数 def my_loss(y_true, y_pred): diff = y_true - y_pred grad = -2 * diff hess = 2 * np.ones_like(y_true) return grad, hess # 实现自定义的目标函数 class MyObjective(xgb.core.ObjFunction): def __call__(self, preds, labels): grad, hess = my_loss(labels, preds) return grad, hess def create_obj(self): return self # 模拟数据 X = np.random.normal(size=(100, 10)) y = np.random.normal(size=100) # 定义模型 params = { 'objective': MyObjective(), 'eval_metric': 'rmse', 'max_depth': 3, 'learning_rate': 0.1, 'n_estimators': 100 } model = xgb.XGBRegressor(**params) # 训练模型 model.fit(X, y) ``` 在上面的代码中，我们定义了一个自定义的损失函数`my_loss`，它计算每个样本的一阶导数和二阶导数。然后，我们实现了一个自定义的目标函数`MyObjective`，它将自定义的损失函数传递给XGBoost的目标函数。最后，我们使用这个自定义的目标函数来训练一个XGBoost回归模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值