天猫复购预测训练赛技术报告

置顶 已于 2022-10-21 23:52:23 修改
阅读量4.7k 收藏 96
点赞数 4
分类专栏： 数据挖掘 NLP自然语言处理 文章标签： 数据挖掘 随机森林 训练赛 xgboost 预测
于 2022-10-21 23:34:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42200347/article/details/127455760
版权

天猫复购预测赛技术报告

小组成员：李xx、姚xx、黄xx、刘xx

github地址:https://github.com/2017403603/Data_mining

一、问题描述

1.1 问题背景

​ 商家有时会在特定日期，例如Boxing-day，黑色星期五或是双十一（11月11日）开展大型促销活动或者发放优惠券以吸引消费者，然而很多被吸引来的买家都是一次性消费者，这些促销活动可能对销售业绩的增长并没有长远帮助，因此为解决这个问题，商家需要识别出哪类消费者可以转化为重复购买者。通过对这些潜在的忠诚客户进行定位，商家可以大大降低促销成本，提高投资回报率。

1.2 数据描述

​ 现在给定四个数据文件，分别为训练数据，测试数据，用户画像以及用户历史记录。训练数据提供纬度为用户、商家，以及该用户是否为该商家的重复购买者（即label）。用户画像数据集提供对应用户id的年龄和性别信息；用户历史记录提供用户过去六个月在不同店铺的多种活跃状态以及点击时间等；测试数据集为用户和商家的组合，用以预测该用户是否为该商家的重复购买者。

1.3 问题描述

​ 根据给定的四个数据形式，在测试数据中给定了用户id和商家id的组合，需要预测该名用户在对应商家的重复购买概率值。

二、数据探索

2.1 加载数据集

train_data = pd.read_csv("../DataMining/data_format1/train_format1.csv")
test_data = pd.read_csv("../DataMining/data_format1/test_format1.csv")
user_info = pd.read_csv("../DataMining/data_format1/user_info_format1.csv")
user_log = pd.read_csv("../DataMining/data_format1/user_log_format1.csv")

2.2 查看用户画像中年龄和性别缺失率

(user_info.shape[0] - user_info["age_range"].count())/user_info.shape[0]
(user_info.shape[0] - user_info["gender"].count()) / user_info.shape[0]

​ 其中年龄缺失率为0.52%，性别缺失率为1.5%。缺失比率较小，因此其对最终的分类结果影响较小。后面将直接将NaN（由-1代替）当作特征输入进模型进行训练和学习

2.3 查看用户信息数据的缺失—用户行为日志数据缺失

user_log.isna().sum()

在这里插入图片描述

​ 用户行为日志主要缺失特征为购买品牌的缺失，其他特征均无缺失。

2.4 查看用户画像和历史记录基本数据描述

user_info.describe()

在这里插入图片描述

​ 用户画像的基本数据分析显示用户的平均年龄在30岁左右，且方差较大。且购买者的性别主要为女性。

user_log.describe()

在这里插入图片描述

2.5 查看样本label比例

在这里插入图片描述

​ 样本不均衡，非重复购买者比例远远大于重复购买者，因此需要采取一定措施解决此类样本不平衡问题

2.6 对top 5店铺进行画图分析

train_data.merchant_id.value_counts().head(5)
train_data_merchant["TOP5"]=train_data_merchant["merchant_id"].map(lambda x: 1 if x in[4044,3828,4173,1102,4976] else 0)
train_data_merchant=train_data_merchant[train_data_merchant["TOP5"]==1]
plt.figure(figsize=(8,6))
plt.title("Merchant VS Label")sax=sns.countplot("merchant_id",hue="label",data=train_data_merchant)

在这里插入图片描述

​ 采用分布直方图对前五名店铺进行比例分析，可得前五名店铺占据了接近一半的数据量，且重复购买的比例都远远小于非重复购买

2.7 对商家的重复购买比例进行绘图分析

train_data.groupby(["merchant_id"])["label"].mean()
merchant_repeat_buy=[rate for rate in train_data.groupby(["merchant_id"])["label"].mean() if rate<=1 and rate > 0]
plt.figure(figsize=(8,4))
ax=plt.subplot(1,2,1)
sns.distplot(merchant_repeat_buy,fit=stats.norm)
ax=plt.subplot(1,2,2)
res=stats.probplot(merchant_repeat_buy,plot=plt)

在这里插入图片描述

​ 由于数据的特征维度并不具有连续性，无法使用插值法进行填补，并且空缺比率较小，因此我们直接将空缺数据视为一个特征，用-1填补并代表此类特征

三、特征工程

3.1 数据集合并

  1. 将训练集df_train和用户基本信息user_info_format.csv合并得到df_train，合并依据是用户user_id。

     df_train = pd.merge(df_train,user_info,on="user_id",how="left")

  2. 将df_train和用户行为日志user_log_format1.csv合并得到新的df_train，合并依据是用户user_id和商家merchant_id。

     df_train = pd.merge(df_train,total_logs_temp,on=["user_id","merchant_id"],how="left")

3.2 特征生成

  1. 通过简单合并生成特征

    • 每个用户在每个商家交互过的商品总和（不分种类）。total_item_id
    • 每个用户在每个商家交互过的商品种类总和。unique_item_id
    • 每个用户在每个商家交互过的商品所属品类总和total_cat_id
    • 每个用户在每个商家交互过的天数总和。total_time_temp
    • 每个用户在每个商家点击次数总和。clicks
    • 每个用户在每个商家加入购物车次数总和。shopping_cart
    • 每个用户在每个商家购买商品次数总和。purchases
    • 每个用户在每个商家收藏商品次数总和。favourites

  2. 通过分析生成特征

    • 用户每月使用次数

      month_temp=user_log.groupby(['user_id','month']).size().reset_index().rename(columns={0:'cnt'})
month_temp=pd.get_dummies(month_temp, columns=['month'],prefix='user_mcnt')
for i in range(5,12):
   month_temp['user_mcnt_'+str(i)]=month_temp['cnt']*month_temp['user_mcnt_'+str(i)]
   month_temp=month_temp.groupby(['user_id']).sum().drop(['cnt'],axis=1).reset_index()

      ​ 意义：用户每月使用天猫的次数可以反映用户行为在时间上的特征，用户在一年中不同的月份的消费表现可能不同，例如在年尾，春节，“双十一”等期间可能消费水平高一些，在夏冬两季的消费水平可能会低一些，通过统计每月使用次数可以有效反映出这些特征。

    • 商家的特征

      temp = groups.size().reset_index().rename(columns={0:'merchantf1'})
matrix = matrix.merge(temp, on='merchant_id', how='left')
temp = groups['user_id', 'item_id', 'cat_id', 'brand_id'].nunique().reset_index().rename(columns={'user_id':'merchantf2', 'item_id':'merchantf3', 'cat_id':'merchantf4', 'brand_id':'merchantf5'})
matrix = matrix.merge(temp, on='merchant_id', how='left')
temp = groups['action_type'].value_counts().unstack().reset_index().rename(columns={0:'merchantf6', 1:'merchantf7', 2:'merchantf8', 3:'merchantf9'})
matrix = matrix.merge(temp, on='merchant_id', how='left')

      ​ 商家售出的某个商品、品牌的数量，能够反映某些商品或者品牌的受欢迎程度，一定程度上也可以导致顾客回购率。

    • 商家与用户的综合特征

       matrix['ratiof1'] = matrix['userf9']/matrix['userf7'] # 用户购买点击比
 matrix['ratiof2'] = matrix['merchantf8']/matrix['merchantf6'] # 商家购买点击比

      ​ 用户点击或者该商家被点击最终转化为顾客购买的比率能够很好的反映物品的受欢迎程度

四、候选模型简介

  1. 逻辑回归[1](Logistic Regression，LR)是一种广义线性回归（Generalized Linear Model）,在机器学习中是最常见的一种用于二分类的算法模型。
  2. 决策树[2](Decision Tree，DT)是一种基本的分类与回归方法，本文主要讨论分类决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对数据进行分类的过程。
  3. 随机森林[3](Random Forest，RF)指的是利用多棵决策树对样本进行训练并预测的一种分类器，可回归可分类，所以随机森林是基于多颗决策树的一种集成学习算法。
  4. 梯度提升树[4](Gradient Descent Decision Tree,GBDT)，梯度提升树是以 CART 作为基函数，采用加法模型和前向分步算法的一种梯度提升方法。
  5. XGBoost[5]是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。

五、候选模型预测对比

5.1 加载训练数据和测试数据

#读取数据
df_train = pd.read_csv(r'df_train.csv')
#加载最终测试数据
test_data= pd.read_csv(r'test_data.csv')
test_data

在这里插入图片描述

5.2 建模前预处理数据集

#建模前预处理
y = df_train["label"]
X = df_train.drop(["user_id", "merchant_id", "label"], axis=1)
X.head(10)
#分割数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=8)

在这里插入图片描述

5.3 候选模型预测：逻辑回归

#logistic回归
Logit = LogisticRegression(solver='liblinear')
Logit.fit(X_train, y_train)
Predict = Logit.predict(X_test)
Predict_proba = Logit.predict_proba(X_test)
print(Predict.shape)
print(Predict[0:20])
print(Predict_proba[:])
Score = accuracy_score(y_test, Predict)
Score

在这里插入图片描述

#逻辑回归最终结果获取
Logit_Ans_Predict_proba = Logit.predict_proba(test_data)
df_test['prob']=Logit_Ans_Predict_proba[:,1]
#最终答案保存
df_test.to_csv("Logit_Ans.csv",index=None)

​ 提交得到评分为：0.4564939

5.4 候选模型预测：决策树

#决策树
from sklearn.tree import DecisionTreeClassifier
tree = DecisionTreeClassifier(max_depth=4,random_state=0) 
tree.fit(X_train, y_train)
Predict_proba = tree.predict_proba(X_test)
print(Predict_proba[:])
print("Accuracy on training set: {:.3f}".format(tree.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(tree.score(X_test, y_test)))

在这里插入图片描述

 #决策树最终结果获取
Tree_Ans_Predict_proba = tree.predict_proba(test_data)
df_test['prob']=Tree_Ans_Predict_proba[:,1]
#最终答案保存
df_test.to_csv("Tree_Ans.csv",index=None)

​ 提交得到评分为：0.5833852

5.5 候选模型预测：随机森林

#随机森林
from sklearn.ensemble import RandomForestClassifier
rfc = RandomForestClassifier(n_estimators=50,random_state=90,max_depth=5)
rfc = rfc.fit(X_train, y_train)
Predict_proba = rfc.predict_proba(X_test)
print(Predict_proba[:])
print("Accuracy on training set: {:.3f}".format(rfc.score(X_train, y_train))) 
print("Accuracy on test set: {:.3f}".format(rfc.score(X_test, y_test)))

在这里插入图片描述

#随机森林最终结果获取
RFC_Ans_Predict_proba = rfc.predict_proba(test_data)
df_test['prob']=RFC_Ans_Predict_proba[:,1]
#最终答案保存
df_test.to_csv("RFC_Ans.csv",index=None)

​ 提交得到评分为：0.6252815

5.6 候选模型预测：随机森林调参

# 调参，绘制学习曲线来调参n_estimators（对随机森林影响最大）
score_lt = []
# 每隔10步建立一个随机森林，获得不同n_estimators的得分
for i in range(0,200,10):
    print("进度:",i)
    rfc = RandomForestClassifier(n_estimators=i+1,random_state=90,max_depth=8)
    rfc = rfc.fit(X_train, y_train)
    score = rfc.score(X_test, y_test)
    score_lt.append(score)
score_max = max(score_lt)
print('最大得分：{}'.format(score_max),'子树数量为：{}'.format(score_lt.index(score_max)*10+1))
# 绘制学习曲线
x = np.arange(1,201,10)
plt.subplot(111)
plt.plot(x, score_lt, 'r-')
plt.show()

在这里插入图片描述

​ 上图中横坐标为参数n_estimators的值，纵坐标为模型在测试集上的准确率，每迭代一次n_estimators增加10，画出每次迭代准确率的折线图，由图可知当n_estimators=100时随机森林模型的效果最好，经调参后提交得到评分为：0.6256826。

5.7 候选模型预测：XGboost

import xgboost as xgb
def xgb_train(X_train, y_train, X_valid, y_valid, verbose=True):
    model_xgb = xgb.XGBClassifier(
        max_depth=10, # raw8
        n_estimators=1000,
        min_child_weight=300, 
        colsample_bytree=0.8, 
        subsample=0.8, 
        eta=0.3,    
        seed=42        
    )
    model_xgb.fit(
        X_train, 
        y_train,
        eval_metric='auc',
        eval_set=[(X_train, y_train), (X_valid, y_valid)],
        verbose=verbose,
        early_stopping_rounds=10 # 早停法，如果auc在10epoch没有进步就stop
    )
    print(model_xgb.best_score)
    print("Accuracy on training set: {:.3f}".format(model.score(X_train, y_train))) 
    print("Accuracy on test set: {:.3f}".format(model.score(X_test, y_test)))
    return model_xgb

在这里插入图片描述

#XGboost最终结果获取
model_xgb = xgb_train(X_train, y_train, X_valid, y_valid, verbose=False)
prob = model_xgb.predict_proba(test_data)
submission['prob'] = pd.Series(prob[:,1])
submission.drop(['origin'], axis=1, inplace=True)
submission.to_csv('submission_xgb.csv', index=False)

​ 提交得到评分为：0.6562986

六、最终成绩及排名

小组成员：李xx、姚xx、黄xx、刘xx

在这里插入图片描述

七、天猫复购预测总结

​ 本次比赛最终成绩和排名并不是很高，思考其原因主要还是在数据预处理和特征工程阶段没有做好，在数据集中，年龄和性别的缺失值差不多有九万个，巨大的特征值数据缺失是预测准确率不高的主要原因之一，其次是特征工程，我们抽取特征的方法还是使用传统的方法，相对比较简单，这也是导致模型预测准确率不高的原因之一；在选用模型上我们使用了逻辑回归、决策树、随机森林、Xgboost等热门模型，训练后这些模型在训练集上的表现区别并不明显，经比较Xgboost模型在测试集的效果最好，后期工作准备再重新做一下特征工程，在模型选取方面，计划使用bagging集成多种分类算法的思想对模型进行改进，进一步提高预测准确率。

八、参考

[1] https://www.cnblogs.com/phyger/p/14188712.html

[2] https://blog.csdn.net/qq_34807908/article/details/81539536

[3] https://blog.csdn.net/lovenankai/article/details/99966142

[4] https://www.jianshu.com/p/d1f696266814

[5] http://cran.fhcrc.org/web/packages/xgboost/vignettes/xgboost.pdf

程哥哥吖
关注
  • 4
    点赞
  • 踩
  • 96
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
基于阿里天池大赛学习赛的天猫复购预测案例，基于赛题搭建的Hadoop+spark平台上进行项目设计实现+源代码+文档说明+数据集
12-29
本项目基于阿里天池大数据竞赛的天猫复购预测学习赛，基于赛题，我们首先对数据进行分析和可视化并得出结论，然后从数据集中提取可能对预测标签有影响的特征形成新的训练集，然后搭建了Hadoop+spark集群进行算法设计...
天池大赛-天猫重复购买用户预测
热门推荐
云中的博客
04-18 1万+
天池大赛-天猫重复购买用户预测 比赛项目介绍 当前电商会在双11、黑五或boxing day等进行大量促销活动来吸引买家，但很多被吸引的买家都是一次性交易，这些促销对长期销售的影响就大打折扣。为了便于商家识别哪些用户可以成为重复购买的忠实买家，从而降低促销成本，提高投资回报率（ROI），天猫提供了双11及过去6个月内用户的日志信息来预测未来6个月内用户是否会在同一商铺中重复购买。本次预测任务类似于...
机器学习-TMall 重复购买预测
weixin_47895059的博客
05-01 903
import copy import gc from collections import Counter import pandas as pd from pandas import * import numpy as np def reduce_mem_usage(df,verbose=True): start_mem =df.memory_usage().sum()/1024**2 numerics= ['int16','int32','int64','float16','floa.
天猫用户重复购买预测赛题——特征优化 最终结果 148/0.6812
cjl的博客
01-11 3224
天猫用户重复购买预测赛题——特征优化结果理论知识1. 读取数据 并 缺失值补全2. 构建验证函数3. 删除方差较小的特征 Filter->Variance Threshold4. 基于单变量统计检验选择最佳特征 Filter->SelectKBest5. 递归功能消除 RFE6. 使用模型选择特征 SelectFromModel 天池大赛比赛地址：链接 结果 理论知识 可参考特征优化 特征选择 也称为变量选择、属性选择 ，是为了构建模型而选择相关特征（即属性、指标）子集的过程 目
天猫用户重复购买预测——数据探索
Rocket,Qian的博客
03-02 5046
天猫用户重复购买预测——数据探索1. 理论1.1 缺失数据处理1.2 不均衡样本1.2.1 随机欠采样1.2.2 随机过采样1.2.3 基于聚类的过采样方法1.2.4 SMOTE算法1.2.5 基于数据清洗的SMOTE1.3 数据分布2. 实战数据探索2.1 环境Google colab2.2 导入工具包2.3 读取数据2.4 数据集样例查看2.5 查看数据类型和数据大小2.6 查看缺失值2.7 观察数据分布2.7.1 查看整体数据统计2.7.2 查看正负样本的分布，并可视化2.8 探查影响复购的各种影响因
阿里云天池大赛赛题（机器学习）——天猫用户重复购买预测（完整代码）
全栈O-Jay的博客
08-06 1万+
阿里云天池大赛赛题（机器学习）——天猫用户重复购买预测 完整代码!
天猫复购预测
whygfrexhf的博客
09-02 4361
商家会在一些特定的日期开展大型的促销活动，比如618，双11等。 但是促销吸引来的很多都是一次性的消费者，对销售业绩的增长没有长远的帮助。 为此，商家需要识别出可能复购的用户，再精准地投放广告，将其转换为忠诚客户。 训练数据集包含了双11期间和双11前6个月用户的消费记录。 预测数据集包含了双11期间的新消费者的信息。 需要预测双11中哪些新消费者会进行复购。
天猫用户重复购买预测（速通二）
weixin_45662626的博客
10-13 776
LightGBM分类模型和前面介绍过的LightGBM回归模型相似，它可以支持高效率的并行训练，具有更快的训练速度、更低的内存消耗、更好的准确率、分布式支持、可以快速。
10- 天猫用户复购预测 (机器学习集成算法) (项目十) *
March_A的博客
02-19 3863
阿里巴巴天池天猫复购预测的机器学习项目, 使用数据分析, 通过机器学习中的线性分类算法, 进行建模, 从而预测消费者行为, 复购情况 .
重生逆袭：机器学习之决策树
qq_62110701的博客
11-04 60
随着时间的推移，我的技能和经验逐渐积累。深入学习了很多机器学习算法，其中包括决策树算法。我发现可以帮助企业做出快速而准确的决策，这让我对这个算法更感兴趣。我开始尝试用决策树算法解决一些实际的业务问题。
天猫重复购买预测-数据集
03-20
天猫重复购买预测 data_format2.zip data_format1.zip sample_submission.csv
天猫复购预测之挑战-数据集
03-19
天猫复购预测之挑战官方的数据集 test_format1.csv train_format1.csv user_info_format1.csv
天猫复购预测-数据集
03-12
数据来源于天池 sample_submission.csv test_format1.csv train_format1.csv user_info_format1.csv
基于深度学习天猫复购预测.zip
10-11
机器学习
天猫商券使用行为预测（带源代码+数据集）
07-14
python数据分析大作业（课程设计）
员工离职预测训练赛.zip
01-07
员工离职预测训练赛（练习赛） 目前最好成绩是0.90857 解法并没有想太多，直接把基础特征OneHot之后，然后用LR跑一下就出结果了，提交上去大概是0.89+。简单组合了一下基础特征，得到目前最好结果。
无线通信技术综合训练实验报告共73页.pdf.zip
10-31
无线通信技术综合训练实验报告共73页.pdf.zip
天猫用户重复购买预测分析（代码+数据）
10-08
目前提供的项目数据是双十一及过去6个月内用户的日志信息，预测未来6个月内用户是否在同一商铺中重复购买...3. 依据用户行为特征训练合适的分类模型，预测用户重复购买的概率； 4. 根据模型对天猫用户重复率进行预测。
数学建模数据集美国KingCounty房价预测训练赛
最新发布
04-14
数学建模数据集美国KingCounty房价预测训练赛提取方式是百度网盘分享地址
spark+python的天猫复购预测-挑战Baseline
06-03
天猫复购预测是一个非常有挑战性的任务，需要综合运用大数据处理和机器学习算法。下面是一些基于Spark和Python的天猫复购预测的挑战Baseline： 1. 数据清洗和特征工程：天猫复购预测需要处理大量的数据，包括用户购买记录、用户行为数据、商品特征等。在进行数据清洗和特征工程时，需要考虑如何处理缺失值、异常值、重复值等问题，同时还需要从原始数据中提取出有用的特征，如用户行为次数、购买金额、购买时间等。 2. 数据切分和模型训练：在数据清洗和特征工程完成后，需要将数据切分成训练集和测试集，并使用机器学习算法进行模型训练。常用的算法包括逻辑回归、决策树、随机森林、XGBoost等。在模型训练时，需要进行参数调优和模型评估，以找到最优的模型。 3. 模型预测和结果评估：模型训练完成后，需要使用测试集进行模型预测，并计算预测准确率、精确度、召回率等指标，以评估模型的性能。同时还需要对预测结果进行可视化分析，以便更好地理解模型预测结果。 以上是基于Spark和Python的天猫复购预测的挑战Baseline，具体实现需要根据实际数据和业务场景进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程哥哥吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值