GBDT_LR融合

最新推荐文章于 2022-08-11 22:14:05 发布

召唤师的峡谷

最新推荐文章于 2022-08-11 22:14:05 发布

阅读量200

点赞数

分类专栏：推荐系统文章标签：推荐系统深度学习算法人工智能

本文链接：https://blog.csdn.net/m0_37850187/article/details/106225593

版权

推荐系统专栏收录该内容

9 篇文章 1 订阅 ¥79.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了如何利用GBDT生成LR的特征，以解决LR模型中特征组合的问题。介绍了GBDT的基础思想和优势，以及多种融合方案，包括树结点one-hot特征、离散特征与连续特征的融合等。通过GBDT对特征和特征组合的自动发现，可以有效提升模型效果。

摘要由CSDN通过智能技术生成

文章目录

GBDT_LR融合

GBDT_LR融合

背景

LR模型中的特征组合很关键，但又无法直接通过特征笛卡尔积解决，只能依靠人工经验，耗时耗力同时并不一定会带来效果提升。如何自动发现有效的特征、特征组合，弥补人工经验不足，缩短LR特征实验周期，是亟需解决的问题。Facebook 2014年的文章介绍了通过GBDT（Gradient Boost Decision Tree）解决LR的特征组合问题，随后Kaggle竞赛也有实践此思路，GBDT与LR融合开始引起了业界关注。

GBDT（Gradient Boost Decision Tree）是一种常用的非线性模型，它基于集成学习中的boosting思想，每次迭代都在减少残差的梯度方向新建立一颗决策树，迭代多少次就会生成多少颗决策树。GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合，决策树的路径可以直接作为LR输入特征使用，省去了人工寻找特征、特征组合的步骤。这种通过GBDT生成LR特征的方式（GBDT+LR），业界已有实践（Facebook，Kaggle-2014），且效果不错，是非常值得尝试的思路。下图1为使用GBDT+LR前后的特征实验示意图，融合前人