lgb模型预测概率整体偏低并且整体小于0.5问题解决

最新推荐文章于 2024-05-06 22:41:04 发布
最新推荐文章于 2024-05-06 22:41:04 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： lgb python 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21897529/article/details/128451666
版权

在做贷后模型时，用lgb模型，发现整体训练数据，测试数据和oot数据的预测概率都小于0.5，ks和psi正常，后来在训练时设置unbalance=True，进行网格调参，才解决这个问题，但也不是所有调好的参数都会解决这个问题，说到底还是调参数才能解决。后来在网上看到为什么不均衡数据有时候会导致模型预测概率整体小 - 知乎 (zhihu.com)这篇文章，和我是一样的问题，里面解释得比较清楚，我的数据也是不均衡数据，正样本4%+。

从实例 角度理解XGBoost原理及与LightGBM异同
weixin_43178406的博客
01-30 1万+
1. xgboost原理 1.1训练集样本信息 1.2 logistic 及其损失函数 1.3 xgboost推导（结合logistic及其损失函数） 2.xgboost 优化 2.1步长（shrinkage） 2.2 行、列抽样 2.3 特征选择的优化 2.4 切分点的选取 – Weighted Quantile Sketch 2.5 稀疏矩阵（缺失值）处理 2.6 列排序优化 2.7 缓存优化 3 xgboost 使用及参数 3.1 初识xgboost 3.1.1 xgboost使用方法 ...
算法面试必备-----数据挖掘常见面试题
Avery123123的博客
08-06 4686
算法面试必备-----数据挖掘常见面试题算法面试必备-----数据挖掘常见面试题1. 异常值是指什么?请列举1种识别连续型变量异常值的方法?2. 什么是数据标准化，为什么要进行数据标准化？3. 如何处理缺失值数据？4. 如何进行探索性数据分析(EDA)？5. 给定一个数据集，这个数据集有缺失值，且这些缺失值分布在离中值有 1 个标准偏差的范围内。百分之多少的数据不会受到影响？为什么？6. 对于不平衡数据集，有什么应对方案？7. 什么是 K-fold 交叉验证？8. 简述准确率(accuracy)、召回率(R
2020CCF工作负载预测(LGB单模 0.34+)方案
qq_48081601的博客
01-17 1300
2020-CCF工作负载预测--siguo前言一、训练集重分组二、特征构建总结提升二次提升后处理提升其他想法感悟 前言 本次参加2020CCF大数据与计算智能大赛,在Serverless工作负载预测赛道侥幸进入决赛，在这里首先感谢我的队友在比赛中的不懈努力，然后和大家分享一下我个人的模型（进入决赛得分为融模结果），本文给出方案A榜线上成绩为0.344,简易改进后得分为0.346和0.348，根据我们队伍A/B榜波动看来，模型相对稳定，B榜成绩预估在top20左右 一、训练集重分组 import panda
python 实现lgb训练及模型预测
MusicDancing的博客
11-27 5671
使用训练好的lightgbm对测试集打分，并保留预测结果。 # coding:utf-8 import pandas as pd import lightgbm as lgb import sys THRESHOLD = 0.28 # 设定截断阈值 data_input_path = sys.argv[1] # 数据输入路径 data_output_path = sys.argv[2] # 数据输出路径 model_file_path = sys.argv[3] # 模型路径 # 1.加载测试数据.
数据比赛常用预测模型：LGB、XGB与ANN
Kanny
06-19 3万+
现在的比赛，想要拿到一个好的名次，就一定要进行模型融合，这里总结一下三种基础的模型： - lightgbm：由于现在的比赛数据越来越大，想要获得一个比较高的预测精度，同时又要减少内存占用以及提升训练速度，lightgbm是一个非常不错的选择，其可达到与xgboost相似的预测效果。 - xgboost：在lightgbm出来之前，是打比赛的不二之选，现在由于需要做模型融合以提高预测精度，所以也...
如何提高机器学习模型预测准确率
lucky_xy1997的博客
02-17 4432
如何提高机器学习模型预测准确率 转载：https://zhuanlan.zhihu.com/p/25013834 这篇文章主要从工程角度来总结在实际运用机器学习进行预测时，我们可以用哪些tips来提高最终的预测效果，主要分为Data Cleaning，Features Engineering， Models Training三个部分。 Data Cleaning 移除多余的duplicate features（相同或极为相似的features） 移除constant features（只有一个val
基于树的时间序列预测（LGBM）
最新发布
mnwl12_0的博客
05-06 1537
梯度提升模型特别适用于处理复杂的数据集，可以处理大量特征和特征之间的交互，并且对过度拟合也很稳健，同时能够处理缺失值。在大多数时间序列预测中，尽管有Prophet和NeuralProphet等方便的工具，但是了解基于树的模型仍然具有很高的价值。ARIMA 模型使用过去的值来预测未来的值，因此过去的值是重要的候选特征，可以创建许多滞后回归因子。创建基于时间的特征，包括日期、星期、季度等各种特征，通过 pandas series 的 "date" 类中提供的一系列函数，可以轻松实现这些需求。
【数据分析报告】携程客户分析与流失预测
热门推荐
changreal的博客
08-11 7万+
目录一、项目背景与目的二、探索性分析2.1 数据指标预览2.2 数据概况2.3 数据分布2.3.1 数据分布总览2.3.2 预定日期和入住日期2.3.3 访问时间段2.3.4 客户价值2.3.5 消费能力指数2.3.6 价格敏感指数分布2.3.6 入住酒店平均价格2.3.7 酒店星级偏好2.3.8 订单取消率2.3.9 用户年订单数分布2.3.10 新老客户流失率三、数据预处理3.1 去除不需要的字段与重复字段3.2 数据类型转换3.3 异常值处理3.3.1负数处理3.3.2 极值处理3.4 缺失值处理3.
评分卡模型构建
weixin_46072106的博客
12-19 471
不同算法解决不同的问题，但是首先需要确定的是问题本身（分类还是回归）
机器（深度）学习算法面试问题（总结加收集）
qq_43550820的博客
09-25 3455
文章目录机器学习评价指标L1正则和L2正则交叉熵欠拟合和过拟合为什么会产生欠拟合如何解决欠拟合为什么会产生过拟合如何解决过拟合样本不平衡处理方法?杂项最大似然估计（MLE）和最大后验概率（MAP）贪心算法和动态规划的区别和联系分类模型和回归模型的区别是什么什么是bias和variance无监督和有监督算法的区别？k折交叉验证中k取值多少有什么关系写出信息增益，信息增益比和基尼系数的公式逻辑回归（LR）LR的应用写出LR的目标函数和损失函数逻辑回归与线性回归的区别？逻辑回归为什么用sigmod，不用其他函数？
SOHU-baseline:搜狐算法大赛（实体+情感）简单基准（比较容易理解）（使用lgb模型做二分类）
03-16
5月10日更新，初赛结束，总分排名6，应该进决赛了，比赛结束后会放出一个分数55+实体的单模代码 最终lgb代码： : SOHU基准 搜狐算法大赛（实体撤销+情感预测）的基准线〜 没有用深度模型，用的传统的lgb当成分类做的，这里的代码只用了一个非常基本的tfidf特征，模型构造好了，大家可以自己遵循自己的想法体现特征。 想先做实体的部分，就没做情感，可以加一个文件features / emo_features.py继续做，因为情趣正面感比例分解，可以直接全预测为POS。 跑代码前先把训练集和测试集放到/ data文件夹里 文件说明 先跑1.main_train_lmh.ipynb再跑1.main_test_lmh.ipynb models文件里是放训练好的lgb（也可以别的）模型的 功能里是放计算好的特征的 results提交的结果会放到这里，提交前打开答案，替换全部“为空就可以直
含有预测模型实例的数据预测
12-20
AR预测模型算法实例，针对现在数据对未来数据进行预测，程序中给出油价实例非常实用！
统计预测方法及预测模型
12-22
统计预测方法及预测模型 统计预测方法及预测模型 统计预测方法及预测模型
神经网络误差和参数变化不大，预测值始终在0.5附近
weixin_41802290的博客
10-15 1282
然后我想起在用tensorflow时，处理图片的卷积操作每一层前面都加了一层BatchNorm2d，于是我在每一层sigmoid函数前加了一层BatchNorm1d。也试了试了网上的各种方案，都没有用，最后把梯度下降函数从SGD改用了Adam ，结果瞬间不一样了，或是说正常了。一开始我认为是没有归一化导致的，因为有两个特征，两个特征的量级不一样。结构是最简单的一层输入层、一层隐藏层和一层输出层，输入特征数为2，输出为1（二分类）。应该也不是这个的原因。当然，可能有些过拟合了，不过，那就是下一步的工作了。
数据不均衡处理（重采样和代价敏感学习）
weixin_54202028的博客
07-18 2406
数据不平衡问题在机器学习分类问题中很常见，尤其是涉及到“异常检测"类型的分类。因为异常一般指的相对不常见的现象，因此发生的机率必然要小很多。因此正常类的样本量会远远高于异常类的样本量，一般高达几个数量级。比如疾病相关的样本，正常的样本会远高于疾病的样本，即便是当下流行的COVID-19。比如kaggle竞赛的信用卡交易欺诈（creditcardfraud），正常交易与欺诈类交易比例大于100001。再比如工业中常见的故障诊断数据，正常运行的时间段会远远高于停机（故障）时间。...
基于LightGBM（LGB）的股票预测
你这个代码我看不懂的博客
02-23 3267
LGB预测 ＬｉｇｈｔＧＢＭ（Ｌｉｇｈｔ ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇ Ｍａ－ ｃｈｉｎｅ）是微软亚洲研究所ＤＭＴＫ 团队的一个开源的算法，是一种基于决策树和 ＧｒａｄｉｅｎｔＢｏｏｓｔｉｎｇ的改进 模 型，可以用于常见的分类、回归等问题。ＬｉｇｈｔＧＢＭ 和 ＸＧＢｏｏｓｔ算法被分别称为机器学习中的“倚天剑”和“屠龙刀”，都是非常优秀的算法。 ＬｉｇｈｔＧＢＭ 有着很多的优点：使用基于直方图的算法，有着更快的训练速度和更高的效率；更少的内存占用；支持并行计算，并且由于在训练时间上的缩减而拥有处理大数据
获取预测概率值
wtt561111的专栏
05-25 2841
随机森林预测，并且获得预测可能性大小
回归及相关模型
qq_41807261的博客
10-04 729
1线性回归模型 from sklearn.metrics import mean_squared_error from sklearn.linear_model import LinearRegression clf = LinearRegression() clf.fit(train_data, train_target) test_pred = clf.predict(test_data) score = mean_squared_error(test_pred, test_target) score
天池案例-贷款违约预测（lgb）
weixin_41175904的博客
07-14 1703
1 案例描述 赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。 提交结果为每个测试样本是1的概率，也就是y为1的概率。评价方法为AUC评估模型效果（越大越好）。 2 代码详情 im...
如何使用python利用lgb模型预测三维训练集
04-20
使用Python进行LGB模型预测，可细分为以下步骤： 1. 导入LGB模型 首先需要导入lightgbm库，具体语句如下： import lightgbm as lgb 2. 加载模型 使用下列代码加载模型 model = lgb.Booster(model_file= 'model...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值