新型在线预测模型DeepGBM(基于GBDT扩展的深度学习框架)

最新推荐文章于 2024-04-15 09:32:45 发布
最新推荐文章于 2024-04-15 09:32:45 发布
阅读量3.9k 收藏 13
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/101546837
版权

DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks

Guolin Ke, Zhenhui Xu, Jia Zhang, Jiang Bian, Tie-Yan Liu

Microsoft Research, Peking University

KDD 2019

http://delivery.acm.org/10.1145/3340000/3330858/p384-ke.pdf

在线预测在很多实际应用中起着非常重要的作用。典型在线预测任务有两个特点，其一即为表格形式的输入空间，其二即为在线的数据生成。表格形式的输入空间，意味着其中既有比较稀疏的类别型特征，又有比较稠密的数值型特征；在线的数据生成，暗含着任务以指数动态分布的形式产生连续的数据。

既能比较有效的处理表格形式的输入空间，又可以比较快的自适应到在线的数据生成中，成为在线预测模型中的两大重要挑战。虽然梯度提升决策树（GBDT）和神经网络在实际中广泛应用，但是二者皆有其劣势。比如，GBDT很难应用于线上动态生成的数据，而且在应对比较稀疏的特征时很难取得较好的效果；同时，对于神经网络，该模型在应对稠密数值特征时很难取得好效果。

本文提出一种新的学习框架，DeepGBM，该框架能够集成神经网络和GBDT的优势，其中包含了两种神经网络，一种是CatNN，这种网络集中处理稀疏类别型特征，另一种是GBDT2NN，这种模型集

最低0.47元/天 解锁文章
frank_hetest
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python-DeepGBMGBDT针对在线预测任务发布的深度学习框架
08-11
DeepGBM：GBDT针对在线预测任务发布的深度学习框架
基于GBDT和神经网络的光伏发电组合预测.pdf
05-21
基于GBDT和神经网络的光伏发电组合预测.pdf
深度梯度提升机器学习框架——DeepGBM
最新发布
gitblog_00072的博客
04-15 323
深度梯度提升机器学习框架——DeepGBM 项目地址:https://gitcode.com/motefly/DeepGBM 在数据分析和机器学习领域，梯度提升机（Gradient Boosting Machine, GBM）是一种强大的工具，因其优秀的预测性能和模型解释性而备受青睐。现在，有一个名为DeepGBM的开源项目，它将深度学习与GBM相结合，旨在提供更高效、更灵活且易于使用的机器学习解...
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》
fuzi2012的博客
11-03 4828
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》摘要1. 简介2. DEEPGBM2.1 CatNN 专注于稀疏类别特征(for Sparse Categorical Features)2.2 GBDT2NN 专注于数值密集型特征(for Dense Numerical ...
deepGBM全网最详细解释
占卜师的博客
08-31 897
相关资料 [1]LightGBM: A highly efficient gradient boosting decision tree, NIPS 2017 代码地址:https://github.com/microsoft/LightGBM [2]DeepFM: a factorization-machine based neural network for ctr prediction， IJCAI 2017 代码地址:https://...
如何构建真实世界可用的 ML 模型？
CSDN资讯
08-14 2307
Python 作为当前机器学习中使用最多的一门编程语言，有很多对应的机器学习库，最常用的莫过于 scikit-learn 了。本文我们介绍下如何使用sklearn进行实时...
机器学习模型部署及在线预测
gaoyan0335的专栏
01-03 7698
到目前为止，我们训练的传统机器学习模型都只能进行本地预测（本地调用test方法），那么怎么样把我们的模型部署到线上，然后做在线实时预测呢？ 我们的模型实际上就是一个y = f(x)函数，x是特征数据，y是预测结果。我们训练模型的目的就是为了得到f(x)函数的参数； 训练完成后需要对参数进行序列化存储，生成模型文件，这一步叫做模型的导出； 模型的部署即加载模型文件并在内存组装f(x)函数提供在线服务...
#Paper Reading# DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
John159151的专栏
12-21 543
论文题目: DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks 论文地址: https://dl.acm.org/citation.cfm?id=3330858 论文发表于: KDD 2019 论文大体内容： 本文主要提出了DeepGBM模型，来整合NN与GBDT的优势，支持sparse...
机器学习中的算法：决策树模型组合之GBDT
01-27
决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然...
基于GBDT的客流量的预测.zip
12-13
虽然GBDT本身并不属于深度学习，但可以理解为这个项目可能结合了传统的机器学习方法（如GBDT）和深度学习方法，比如使用预训练的神经网络模型对某些特征进行编码，或者将GBDT作为深度学习模型的一部分，如神经网络的...
DeepGBM思维导图（KDD2019）
02-19
在线预测已经成为许多实际应用中最基本的任务之一。在线预测任务的两个典型且主要特点是在线数据呈表格空间形式和在线数据流形式。具体地，表格数据空间中存在着稀疏分类特征和密集数值特征，而在线数据流意味着具有潜在动态分布的连续任务生成的数据。因此，利用表格数据空间进行有效学习和快速适应在线数据流成为赢得在线预测的两个重要挑战。虽然梯度提升决策树（gbdt）和神经网络（nn）在实际中得到了广泛的应用，但它们都有各自的缺点。尤其是gbdt很难适应动态的在线数据流学习，而且在面对稀疏的分类特征时往往是无效的；而神经网络在面对稠密的数值特征时则很难获得令人满意的性能。本文提出了一种新的学习框架DEEPGBM
Deep-Learning-for-Human-Activity-Recognition:CNN，DeepConvLSTM，SDAE和LightGBM的Keras实施，用于基于传感器的人类活动识别（HAR）
05-25
用于人类活动识别的深度学习（和机器学习） CNN，DeepConvLSTM，SDAE和LightGBM的Keras实施，用于基于传感器的人类活动识别（HAR）。 该存储库包含卷积神经网络（CNN）[1]，深度卷积LSTM（DeepConvLSTM）[1]，堆叠降噪自动编码器（SDAE）[2]和用于人类活动识别（HAR）的Light GBM的keras（tensorflow.keras）实现。 ）使用智能手机传感器数据集， UCI智能手机[3]。 表1.在UCI智能手机数据集上的五种方法之间的结果摘要。 方法 准确性 精确 记起 F1分数 轻型GBM 96.33 96.58 96.37 96.43 CNN [1] 95.29 95.46 95.50 95.47 DeepConvLSTM [1] 95.66 95.71 95.84 95.72 SDAE [
DeepGBM模型总结
yunxinan的专栏
01-11 1062
基于GBDT的在线预测任务深度学习框架 A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks GitHub - motefly/DeepGBM: Implementation for the p… 该框架主要使用CatNN、GBDT2NN两部分实现非结构化数据和结构化数据同时处理。 本文优点： （1）：Cat...
如何对深度学习模型进行在线更新，迁移学习
luckyqiong
04-01 5035
目标：学到新数据特征的同时，保持旧网络固有的性能，避免“灾难性遗忘”， 增量学习，迁移学习的一种
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
YueLing's Blog
11-15 1518
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks 论文链接：https://dl.acm.org/citation.cfm?id=3330858 代码链接：https://github.com/motefly/DeepGBM 背景 Guolin Ke是lightgbm的核心作者之一，我幸...
GBDT（一图搞定，简单易懂）
qq_43703185的博客
08-05 1992
原文链接:https://www.jianshu.com/p/405f233ed04b GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，
GBDT和deep learning之间对比和争论
overstack的专栏
06-20 2838
Boosted Decision Trees for Deep Learning Tags: Deep, Machine Learning, Supervised — jl@ 11:18 am About 4 years ago, I speculated that decision trees qualify as a deep learning algorithm beca
推荐系统基础之GBDT+LR
zenghr的博客
10-30 459
1 简介 用户的自身特征、物品的特征以及上下文是推荐系统中极其重要的数据，其中往往包含着大量的信息。因此，如何利用这些原始的特征信息并构建新的信息是非常重要的。GBDT+LR模型是Facebook在2014年提出的模型，顾名思义，这个模型是GBDT模型与LR模型的组合。为什么要采用这两个模型的组合？我们知道，LR是用于CTR预测的一个经典模型，这个模型形式十分简单，只需在输出加上sigmoid函数就可以很好地应用于二分类问题，而LR模型预测的好坏与输入特征有着很大的关系。在机器学习领域，我们通常说，输入特征
传统机器学习模型如何做在线预测
科讯财闻
03-26 2172
摘要 虽然目前深度学习的热度远远高过传统的机器学习，但仍然有很多实际问题更适合用传统机器学习模型解决。如何将这些机器学习模型发布到生产环境做在线预测仍是一个很有意义的问题。常见的机器学习模型包括但不限于： 线性回归，Logistic 回归 决策树 随机森林 SVM Boosting（AdaBoost，XGBoost） 隐式马尔可夫 本文我们用一个实际的例子介绍如何使用 ONNX 生态的解决方案将 scikit-learn 与 hmmlearn 训练的机器学习模型发布为高性能的在线预测服务。我们
基于 GBDT 分类预测模型的预判用spss
05-04
使用 SPSS 进行基于 GBDT 分类预测模型的预判可以分为以下步骤： 1. 导入数据：将需要进行分类预测的数据导入 SPSS 中，数据可以是 Excel 或文本文件格式。 2. 数据清洗：对导入的数据进行清洗，例如删除不必要的列、填补缺失值等。 3. 数据分割：将导入的数据按照一定比例分为训练集和测试集，训练集用于训练模型，测试集用于测试模型的预测能力。 4. 模型建立：在 SPSS 中选择 GBDT 分类预测模型，设置参数，进行模型训练。 5. 模型评估：使用测试集对训练好的模型进行评估，例如计算准确率、召回率、F1 值等指标。 6. 模型预测：使用训练好的模型对新的数据进行预测，可以得到预测结果。 7. 结果分析：对预测结果进行分析，例如计算误差率、绘制 ROC 曲线等。 需要注意的是，在进行 GBDT 分类预测模型的预判之前，需要对数据有一定的了解，包括数据类型、数据分布等。另外，还需要对 GBDT 算法有一定的了解，例如树的深度、叶子节点个数等参数的选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值