【机器学习】实战：XX用户购买意向预测（四）Xgboost建模

已于 2025-01-10 09:44:34 修改
阅读量1.9w 收藏 35
点赞数 23
分类专栏： # 机器学习-项目实战 文章标签： 机器学习 人工智能
于 2024-12-25 05:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014608435/article/details/144605331
版权

文章目录

项目背景

XX作为中国最大的自营式电商，在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何从历史数据中找出规律，去预测用户未来的购买需求，让最合适的商品遇见最需要的人，是机器学习应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 以XX商城真实的用户、商品和行为数据（脱敏后）为基础，通过数据挖掘的技术和机器学习的算法，构建用户购买商品的预测模型，输出高潜用户和目标商品的匹配结果，为精准营销提供高质量的目标群体。

目标：使用XX多个品类下商品的历史销售数据，构建算法模型，预测用户在未来5天内，对某个目标品类下商品的购买意向。

数据概述

这里涉及到的数据集是XX用户的数据集：

  • JData_User.csv 用户数据集 105,321个用户
  • JData_Comment.csv 商品评论 558,552条记录
  • JData_Product.csv 预测商品集合 24,187条记录
  • JData_Action_201602.csv 2月份行为交互记录 11,485,424条记录
  • JData_Action_201603.csv 3月份行为交互记录 25,916,378条记录
  • JData_Action_201604.csv 4月份行为交互记录 13,199,934条记录

数据挖掘流程

（一）、数据清洗

  1. 数据集完整性验证
  2. 数据集中是否存在缺失值
  3. 数据集中各特征数值应该如何处理
  4. 哪些数据是我们想要的，哪些是可以过滤掉的
  5. 将有价值数据信息做成新的数据源
  6. 去除无行为交互的商品和用户
  7. 去掉浏览量很大而购买量很少的用户(惰性用户或爬虫用户)

（二）、数据理解与分析

  1. 掌握各个特征的含义
  2. 观察数据有哪些特点，是否可利用来建模
  3. 可视化展示便于分析
  4. 用户的购买意向是否随着时间等因素变化

（三）、特征提取

  1. 基于清洗后的数据集哪些特征是有价值
  2. 分别对用户与商品以及其之间构成的行为进行特征提取
  3. 行为因素中哪些是核心？如何提取？
  4. 瞬时行为特征or累计行为特征？

（四）、模型建立

  1. 使用机器学习算法进行预测
  2. 参数设置与调节
  3. 数据集切分？

1、模型导入

import pandas as pd
import numpy as np
import xgboost as xgb
from sklearn.model_selection import train_test_split
from matplotlib import pylab as plt
import gc

2、加载数据

data = pd.read_csv('train_set.csv')
display(data.head(),data.shape)
data_X = data.loc[:,data.columns != 'label']
data_y = data.loc[:,data.columns == 'label']
X_train, X_val, y_train, y_val = train_test_split(data_X,data_y,test_size = 0.2, random_state = 0)

# 删除用户ID和商品编号，这两列属于自然数编号，对预测结果影响不大
del X_train['user_id']
del X_train['sku_id']

display(X_train.head(),X_train.shape)
display(X_val.head(),X_val.shape)
del data,data_X,data_y
gc.collect()

在这里插入图片描述

3、Xgboost建模

Xgboost介绍

XGBoost（Extreme Gradient Boosting）是一种优化的分布式梯度提升库，它旨在提供高效的、可扩展的和灵活的解决方案。XGBoost是基于梯度提升决策树（GBDT, Gradient Boosting Decision Trees）算法的一个实现，但它通过引入了一系列创新的技术改进了原始的GBDT，使其在性能、速度和模型质量上都有显著提升。以下是关于XGBoost的一些关键点介绍：

XGBoost的主要特点

  • 高效性：
    • XGBoost采用了更高效的分裂查找算法，能够快速找到最佳分裂点。
    • 支持并行化处理，可以在多核CPU或GPU上加速训练过程。
  • 正则化：
    • 在损失函数中加入了L1和L2正则项，帮助减少过拟合现象，提高泛化能力。
    • 正则化参数可以控制树的复杂度，使得模型更加稳定。
  • 自定义目标函数与评估指标：
    • 用户可以根据具体问题定义自己的目标函数和评估标准，提供了极大的灵活性。
    • 内置了许多常用的目标函数（如回归、分类等）及其对应的评估指标。
  • 处理缺失值：
    • XGBoost内置了对缺失值的支持，在节点分裂时自动学习最佳方向。
    • 这种特性使得它在处理具有不完整特征的数据集时表现优异。
  • 剪枝策略：
    • 采用了一种称为“预排序”的方法来决定是否进行剪枝，从而提高了计算效率。
    • 当树的增长达到一定深度后，如果新增加的叶子节点不能带来足够的增益，则不会继续生长该分支。
  • 近似分裂点查找：
    • 对于大规模数据集，XGBoost使用了近似的直方图方法来确定分裂点，这大大减少了内存占用并加快了训练速度。
  • 交叉验证支持：
    • 提供了内置的交叉验证功能，方便用户评估模型性能而不必额外编写代码。
  • 多种语言接口：
    • XGBoost不仅支持Python，还提供了R、Java、C++等多种编程语言的API，便于不同环境下的集成开发。
  • DART (Dropouts meet Multiple Additive Regression Trees)：
    • DART是一种随机丢弃部分树的方法，类似于神经网络中的dropout技术，有助于防止过拟合并增加模型多样性。

应用场景

XGBoost广泛应用于各种机器学习任务，包括但不限于：

  • 分类：二元分类或多类别分类问题。
  • 回归：预测连续数值型变量。
  • 排序：例如搜索引擎结果排序。
  • 异常检测：识别罕见事件或异常情况。
dtrain = xgb.DMatrix(X_train, label=y_train)
dvalid = xgb.DMatrix(X_val, label=y_val)
'''
'min_child_weight': 5,孩子节点中最小的样本权重和。
如果一个叶子节点的样本权重和小于min_child_weight则拆分过程结束。即调大这个参数能够控制过拟合。
gamma = 0.1,# 树的叶子节点上做进一步分区所需的最小损失减少，越大越保守，一般0.1 0.2这样子
scale_pos_weight =10 # 如果取值大于0的话，在类别样本不平衡的情况下有助于快速收敛，平衡正负权重
'eta': 0.1, # 如同学习率'''
param = {'n_estimators': 4000, 'max_depth': 3, 'min_child_weight': 5, 'gamma': 0.1, 
         'subsample': 0.9,'colsample_bytree': 0.8, 'scale_pos_weight':10, 'eta': 0.1,
         'objective': 'binary:logistic','eval_metric':['auc','error']}

num_round = param['n_estimators']
evallist = [(dtrain, 'train'), (dvalid, 'eval')]
bst = xgb.train(param, dtrain, num_round, evallist, early_stopping_rounds=10)
bst.save_model('bst.model')

4、特征重要性

def feature_importance(bst_xgb):
    importance = bst_xgb.get_fscore()
    importance = sorted(importance.items(), key=lambda x:x[1], reverse=True)
    df = pd.DataFrame(importance, columns=['feature', 'fscore'])
    df['fscore'] = df['fscore'] / df['fscore'].sum()
    file_name = 'feature_importance_.csv'
    df.to_csv(file_name)
feature_importance(bst)

feature_importance_ = pd.read_csv('feature_importance_.csv')
feature_importance_.head()

在这里插入图片描述

5、算法预测验证数据

查看验证数据

X_val.head()

在这里插入图片描述

算法预测

users = X_val[['user_id', 'sku_id', 'cate']].copy()
del X_val['user_id']
del X_val['sku_id']
X_val_DMatrix = xgb.DMatrix(X_val)
y_pred = bst.predict(X_val_DMatrix)
X_val['pred_label'] = y_pred
X_val.head()

目标值概率转分类

def label(column):
    if column['pred_label'] > 0.5:
        column['pred_label'] = 1
    else:
        column['pred_label'] = 0
    return column
X_val = X_val.apply(label,axis = 1)
X_val.head()

添加真实值用户ID商品编号

X_val['true_label'] = y_val
X_val['user_id'] = users['user_id']
X_val['sku_id'] = users['sku_id']
X_val.head()

6、模型评估【验证集】

购买用户统计

# 所有购买用户
all_user_set = X_val[X_val['true_label']==1]['user_id'].unique()
print(len(all_user_set))

# 所有预测购买的用户
all_user_test_set = X_val[X_val['pred_label'] == 1]['user_id'].unique()
print(len(all_user_test_set))

准确率召回率

pos, neg = 0,0
for user_id in all_user_test_set:
    if user_id in all_user_set:
        pos += 1
    else:
        neg += 1
all_user_acc = 1.0 * pos / ( pos + neg)
all_user_recall = 1.0 * pos / len(all_user_set)
print ('所有用户中预测购买用户的准确率为 ' + str(all_user_acc))
print ('所有用户中预测购买用户的召回率' + str(all_user_recall))

在这里插入图片描述
实际商品对准确率召回率

# 所有预测购买用户商品对应关系
all_user_test_item_pair = X_val[X_val['pred_label'] == 1]['user_id'].map(str) + '-' + X_val[X_val['pred_label'] == 1]['sku_id'].map(str)
all_user_test_item_pair = np.array(all_user_test_item_pair)
print(len(all_user_test_item_pair))
#所有实际商品对
all_user_item_pair = X_val[X_val['true_label']==1]['user_id'].map(str) + '-' + X_val[X_val['true_label']==1]['sku_id'].map(str)
all_user_item_pair = np.array(all_user_item_pair)
pos, neg = 0, 0
for user_item_pair in all_user_test_item_pair:
    if user_item_pair in all_user_item_pair:
        pos += 1
    else:
        neg += 1
all_item_acc = 1.0 * pos / ( pos + neg)
all_item_recall = 1.0 * pos / len(all_user_item_pair)
print ('所有用户中预测购买商品的准确率为 ' + str(all_item_acc))
print ('所有用户中预测购买商品的召回率' + str(all_item_recall))

在这里插入图片描述

7、测试数据

数据加载

X_data = pd.read_csv('test_set.csv')
display(X_data.head())
X_test,y_test = X_data.iloc[:,:-1],X_data.iloc[:,-1]

算法预测

users = X_test[['user_id', 'sku_id', 'cate']].copy()
del X_test['user_id']
del X_test['sku_id']
X_test_DMatrix = xgb.DMatrix(X_test)
y_pred = bst.predict(X_test_DMatrix)
X_test['pred_label'] = y_pred
X_test.head()

目标值概率转分类

def label(column):
    if column['pred_label'] > 0.5:
        column['pred_label'] = 1
    else:
        column['pred_label'] = 0
    return column
X_test = X_test.apply(label,axis = 1)
X_test.head()

添加真实用户ID商品编号

X_test['true_label'] = y_test
X_test['user_id'] = users['user_id']
X_test['sku_id'] = users['sku_id']
X_test.head()

8、模型评估【测试集】

购买用户统计

# 所有购买用户
all_user_set = X_test[X_test['true_label']==1]['user_id'].unique()
print(len(all_user_set))

# 所有预测购买的用户
all_user_test_set = X_test[X_test['pred_label'] == 1]['user_id'].unique()
print(len(all_user_test_set))

准确率召回率

pos, neg = 0,0
for user_id in all_user_test_set:
    if user_id in all_user_set:
        pos += 1
    else:
        neg += 1
all_user_acc = 1.0 * pos / ( pos + neg)
all_user_recall = 1.0 * pos / len(all_user_set)
print ('所有用户中预测购买用户的准确率为 ' + str(all_user_acc))
print ('所有用户中预测购买用户的召回率' + str(all_user_recall))

在这里插入图片描述

实际商品对准确率召回率

# 所有预测购买用户商品对应关系
all_user_test_item_pair = X_test[X_test['pred_label'] == 1]['user_id'].map(str) + '-' + X_test[X_test['pred_label'] == 1]['sku_id'].map(str)
all_user_test_item_pair = np.array(all_user_test_item_pair)
print(len(all_user_test_item_pair))
#所有实际商品对
all_user_item_pair = X_test[X_test['true_label']==1]['user_id'].map(str) + '-' + X_test[X_test['true_label']==1]['sku_id'].map(str)
all_user_item_pair = np.array(all_user_item_pair)
print(len(all_user_item_pair))
pos, neg = 0, 0
for user_item_pair in all_user_test_item_pair:
    if user_item_pair in all_user_item_pair:
        pos += 1
    else:
        neg += 1
all_item_acc = 1.0 * pos / ( pos + neg)
all_item_recall = 1.0 * pos / len(all_user_item_pair)
print ('所有用户中预测购买商品的准确率为 ' + str(all_item_acc))
print ('所有用户中预测购买商品的召回率' + str(all_item_recall))

在这里插入图片描述

Python机器学习实战：使用机器学习预测股票市场走势
AI智能涌现深度研究
07-20 1754
预测股票市场的走势一直是金融界的热门话题。股市的波动性高且受到众多因素的影响，如经济指标、公司业绩、政治事件等，这使得预测变得异常复杂。传统的技术分析和基本分析方法虽然有其局限性，但在大数据时代，机器学习为预测股票市场提供了一种更为精确和自动化的途径。在本节中，我们将介绍LSTM网络的基本原理及其在股票市场预测中的应用。LSTM网络是一种特殊的循环神经网络（RNN），能够处理序列数据中的长期依赖问题。LSTM通过遗忘门、输入门和输出门来控制信息的流动，从而在学习过程中保持有用的信息而丢弃不再有用的信息。
京东购买意向预测（四）
每天进步一点
08-19 3906
Xgboost模型 模型设计 #!/usr/bin/env python # -*- coding: UTF-8 -*- import sys import pandas as pd import numpy as np import xgboost as xgb from sklearn.model_selection import train_test_split import operato...
XGBoost模型
红豆的博客
10-23 662
参考此链接，写的非常秦楚： https://cloud.tencent.com/developer/article/1513111 一、模型相比GBDT做了哪些改进 1）损失函数中加入了正则化项 2）在节点的分裂过程中，进行了并行化 3） 二、模型的公式推导 三、模型在求解什么东西 1）每个叶结点j的最优分数: w∗j 的计算 2）树如何分裂，即分裂点的选择 ...
最强总结机器学习模型，XGBoost ！！
最新发布
2201_75910862的博客
02-18 569
最终结果表明，价格和库存量是预测销售额的重要因素，而促销和季节对销售额的影响次之。模型的预测效果较为理想，但在极端样本上存在一定的误差。这为我们在实际业务中使用XGBoost模型提供了重要参考，同时也表明在实际应用中还需要更多的数据和更复杂的模型优化手段。
【机器学习】XGBoost 一种优化的分布式梯度提升库
热门推荐
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
12-23 1万+
XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。先来举个例子，我们要预测一家人对电子游戏的喜好程度，考虑到年轻和年老相比，年轻更可能喜欢电子游戏，以及男性和女性相比，男性更喜欢电子游戏，故先根据年龄大小区分小孩和大人，然后再通过性别区分开是男是女，逐一给各人在电子游戏喜好程度上打分，如下图所示。叶子结点的权重向量www；
xgboost的调优
hch977的博客
05-03 1608
要想最后的结果有巨大的提升，可以通过特征工程、模型集成来实现。
利用xgboost库建立模型
kaqqaqq的博客
05-23 235
xgboost库 参数 param 以字典的形式设定参数 ‘silent’ t/f，是否打印训练流程 ‘objective’ 损失函数，选项同sklearn ‘eta’ 学习率 max_depth 默认6， 树模型的最大深度，用于防止过拟合，一般与gamma选一个来调整 gamma alpha lambda colsample_bytree 生成树，抽取的特征比例，默认1 colsample_bylevel 每次生成树的一层时随机抽样特征的比例，默认1 c
【转】XGBoost参数调优完全指南（附Python代码）
惊鸿一博
02-29 3768
如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几个参数。所以为了提高模型的表现，参数的调整十分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调整哪些参数？这些参数要调到什么值，才能达到理想的输出？这篇文章最适合刚刚接触XGBoost的人阅读。
Python金融大数据风控建模实战：基于机器学习源代码+文档说明
11-09
基于机器学习源代码+文档说明Python金融大数据风控建模实战：基于机器学习源代码+文档说明Python金融大数据风控建模实战：基于机器学习源代码+文档说明Python金融大数据风控建模实战：基于机器学习源代码+文档说明...
机器学习实战：基于Scikit-Learn、Keras和TensorFlow
12-28
机器学习实战：基于Scikit-Learn、Keras和TensorFlow 机器学习实战：基于Scikit-Learn、Keras和TensorFlow 机器学习实战：基于Scikit-Learn、Keras和TensorFlow 机器学习实战：基于Scikit-Learn、Keras和TensorFlow ...
Python实现xgboost模型的Demo
06-02
python实现xgboost模型，对数据进行分类预测和概率预测
高级工具库xgboost/LightGBM与建模实战
11-01
高级工具库xgboost/LightGBM与建模实战：xgboost应用和实践，LightGBM
基于Xgboost的商业销售预测
01-17
基于Xgboost的商业销售预测，以德国Ｒｏｓｓｍａｎｎ商场的数据为例，通过对数据的探索性分析，以相关背景业务知识体系为基础，通过可视 化分析，提取隐含在数据里的特征，使用性能较优的Ｘｇｂｏｏｓｔ方法进行规则挖掘，取得较好效果。
Python机器学习项目开发实战_预测建模_编程案例解析实例详解课程教程.pdf
05-06
在Python机器学习项目开发实战中，预测建模是核心任务之一，它涉及到使用算法预测未知数据的未来行为。预测建模在大数据时代尤其受到重视，因为它可以帮助各行各业预测未来的趋势，从而做出更明智的决策。本课程主要...
机器学习——XGboost模型
beiye_的博客
04-05 1万+
机器学习——XGboost模型
XGBoost系列7——XGBoost的性能优化策略
theskylife的博客
01-26 1956
XGBoost（eXtreme Gradient Boosting）作为一种强大的机器学习算法，在处理大规模数据集时能够发挥出色的性能。然而，为了充分利用XGBoost的潜力，我们需要采取一系列的性能优化策略。本文将深入探讨XGBoost性能优化的几个关键方面，包括并行计算原理、大规模数据集的分布式训练、内存优化与缓存策略以及如何利用XGBoost的GPU加速功能。
XGBoost的参数空间与超参数优化
weixin_60200880的博客
08-02 3313
在调参的时候，首先会考虑所有影响力巨大的参数，当算力足够/优化算法运行较快的时候，可以考虑将大部分时候具有影响力的参数也都加入参数空间。一般来说，只要样本量足够，我们还是愿意尝试subsample以及max_depth，如果算力充足，我们还可以加入obejctive这样或许会有效的参数。需要说明的是，一般不会同时使用三个colsample_by*参数、更不会同时调试三个colsample_by*参数。通常参数colsample_bylevel较为不稳定，不容易把握。
一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
m0_74932057的博客
04-30 731
变换后的目标函数可以被二阶泰勒展开，使得目标函数在每个节点的损失函数可以被表示为关于该节点预测值的二次函数，这样可以在计算最优分裂点时，使用牛顿法或拟牛顿法等高效的优化算法来求解。变换后的目标函数可以解决梯度爆炸和梯度消失问题，这是由于使用指数函数和对数函数进行变换，将目标函数的值范围映射到了一个合适的区间，从而避免了数值溢出和数值不稳定的情况。变换后的目标函数可以解决分类问题的类别不平衡问题，这是由于在分类问题中，负样本数量通常远大于正样本数量，导致算法容易偏向于负样本。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

道友老李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值