数据挖掘之京东购买意向预测

最新推荐文章于 2023-07-03 10:21:34 发布
最新推荐文章于 2023-07-03 10:21:34 发布
阅读量1.8k 收藏 15
点赞数 1
分类专栏： 数据挖掘 文章标签： python 机器学习 数据挖掘 特征工程 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sanjianjixiang/article/details/106951387
版权
本文介绍了通过数据挖掘预测京东用户购买意向的过程，包括数据检查、特征构建、数据清洗、探索分析、特征工程、训练集和测试集构造，最后使用Xgboost模型进行建模，取得了较高的预测准确率和召回率。
摘要由CSDN通过智能技术生成

目录:

一. 数据检查

利用pd.Merge连接两个数据, 观察数据是否减少

1.1 检查用户是否一致

import pandas as pd
def user_action_check():
    df_user = pd.read_csv(r'data/JData_User.csv', encoding = 'gbk')
    df_sku = df_user.loc[:, 'user_id'].to_frame()
    df_month2 = pd.read_csv(r'data\JData_Action_201602.csv', encoding = 'gbk')
    print('Is action of Feb. from User file? ', len(df_month2) == len(pd.merge(df_sku, df_month2)))
    df_month3 = pd.read_csv(r'data\JData_Action_201603.csv', encoding = 'gbk')
    print('Is action of Mar. from User file? ', len(df_month3) == len(pd.merge(df_sku, df_month3)))
    df_month4 = pd.read_csv(r'data\JData_Action_201604.csv', encoding = 'gbk')
    print('Is action of Apr. from User file? ', len(df_month4) == len(pd.merge(df_sku, df_month4)))
    
user_action_check()

Is action of Feb. from User file? True
Is action of Mar. from User file? True
Is action of Apr. from User file? True

1.2 检查是否有重复记录

def deduplicate(filepath, filename, newpath):
    df_file = pd.read_csv(filepath, encoding = 'gbk')
    before = df_file.shape[0]
    df_file.drop_duplicates(inplace = True)
    after = df_file.shape[0]
    n_dup = before - after
    print('No. of duplicate records for ' + filename + ' is: ' + str(n_dup))
    if n_dup != 0:
        df_file.to_csv(newpath, index = None)
    else:
        print('No duplicate records in ' + filename)
        
deduplicate(r'data\JData_Action_201603.csv', 'Mar. action', '京东/JData_Action_201603_dedup.csv')
deduplicate(r'data\JData_Action_201604.csv', 'Feb. action', '京东/JData_Action_201604_dedup.csv')
deduplicate(r'data\JData_Comment.csv', 'Comment', '京东/JData_Comment_dedup.csv')
deduplicate(r'data\JData_Product.csv', 'Product', '京东/JData_Product_dedup.csv')
deduplicate(r'data\JData_User.csv', 'User', '京东/JData_User_dedup.csv')

在这里插入图片描述

df_month2 = pd.read_csv(r'Fdata\JData_Action_201602.csv', encoding = 'gbk')
IsDuplicated = df_month2.duplicated()
df_d = df_month2[IsDuplicated]
df_d.groupby('type').count()
#发现重复数据大多数都是由于浏览（1），或者点击(6)产生

在这里插入图片描述

1.3 检查注册时间

df_user = pd.read_csv(r'data\JData_User.csv', encoding = 'gbk')
df_user['user_reg_tm'] = pd.to_datetime(df_user['user_reg_tm'])
df_user.loc[df_user.user_reg_tm >= '2016-4-15']

在这里插入图片描述

df_month = pd.read_csv(r'data\JData_Action_201604.csv')
df_month['time'] = pd.to_datetime(df_month['time'])
df_month.loc[df_month.time >= '2016-4-16']

结论：说明用户没有异常操作数据，所以这一批用户不删除

1.3 INT类型转换

df_month = pd.read_csv(r'data\JData_Action_201602.csv', encoding = 'gbk')
df_month['user_id'] = df_month['user_id'].apply(lambda x: int(x))
print(df_month['user_id'].dtype)
df_month.to_csv(r'京东\JData_Action_201602.csv', index = None)

df_month = pd.read_csv(r'data\JData_Action_201603.csv', encoding = 'gbk')
df_month['user_id'] = df_month['user_id'].apply(lambda x: int(x))
print(df_month['user_id'].dtype)
df_month.to_csv(r'京东\JData_Action_201603.csv', index = None)

df_month = pd.read_csv(r'data\JData_Action_201604.csv', encoding = 'gbk')
df_month['user_id'] = df_month['user_id'].apply(lambda x: int(x))
print(df_month['user_id'].dtype)
df_month.to_csv(r'京东\JData_Action_201604.csv', index = None)

二. 构建特征表单

2.1 构建User_table

#定义文件名
ACTION_201602_FILE = "京东/JData_Action_201602.csv"
ACTION_201603_FILE = "京东/JData_Action_201603.csv"
ACTION_201604_FILE = "京东/JData_Action_201604.csv"
COMMENT_FILE = "京东/JData_Comment.csv"
PRODUCT_FILE = "京东/JData_Product.csv"
USER_FILE = "京东/JData_User.csv"
USER_TABLE_FILE = "京东/User_table.csv"
ITEM_TABLE_FILE = "京东/Item_table.csv"

import pandas as pd
import numpy as np
from collections import Counter

# 功能函数: 对每一个user分组的数据进行统计
def add_type_count(group):
    behavior_type = group.type.astype(int)
    type_cnt = Counter(behavior_type)
    group['browse_num'] = type_cnt[1]
    group['addcart_num'] = type_cnt[2]
    group['delcart_num'] = type_cnt[3]
    group['buy_num'] = type_cnt[4]
    group['favor_num'] = type_cnt[5]
    group['click_num'] = type_cnt[6]
    return group[['user_id', 'browse_num', 'addcart_num', 'delcart_num', 'buy_num', 'favor_num', 'click_num']]

# 由于用户行为数据量较大,一次性读入可能造成内存错误(Memory Error),因而使用pandas的分块(chunk)读取.
def get_from_action_data(fname, chunk_size = 50000):
    reader = pd.read_csv(fname, header = 0, iterator = True, encoding = 'gbk')
    chunks = []
    loop = True
    while loop:
        try:
            chunk = reader.get_chunk(chunk_size)[['user_id', 'type']]
            chunks.append(chunk)
        except StopIteration:
            loop = False
            print('Iteration is stopped')
    df_ac = pd.concat(chunks, ignore_index = True)
    df_ac = df_ac.groupby(['user_id'], as_index = False).apply(add_type_count)
    df_ac = df_ac.drop_duplicates('user_id')
    return df_ac

# 将各个action数据的统计量进行聚合
def merge_action_data():
    df_ac = []
    df_ac.append(get_from_action_data(fname = ACTION_201602_FILE))
    df_ac.append(get_from_action_data(fname = ACTION_201603_FILE))
    df_ac.append(get_from_action_data(fname = ACTION_201604_FILE))
    df_ac = pd.concat(df_ac, ignore_index = True)
    # 用户在不同action表中统计量求和
    df_ac = df_ac.groupby(['user_id'], as_index = False).sum()
    # 构造转化率字段
    df_ac['buy_addcart_ratio'] = df_ac['buy_num'] / df_ac['addcart_num']
    df_ac['buy_browse_ratio'] = df_ac['buy_num'] / df_ac['browse_num']
    df_ac['buy_click_ratio'] = df_ac['buy_num'] / df_ac['click_num']
    df_ac['buy_favor_ratio'] = df_ac['buy_num'] / df_ac['favor_num']
    # 将大于１的转化率字段置为１(100%)
    df_ac.loc[df_ac['buy_addcart_ratio'] > 1, 'buy_addcart_ratio'] = 1.
    df_ac.loc[df_ac['buy_browse_ratio'] > 1, 'buy_browse_ratio'] = 1.
    df_ac.loc[df_ac['buy_click_ratio'] > 1, 'buy_click_ratio'] = 1.
    df_ac.loc[df_ac['buy_favor_ratio'] > 1, 'buy_favor_ratio'] = 1.
    return df_ac

# 从FJData_User表中抽取需要的字段
def get_from_jdata_user():
    df_user = pd.read_csv(USER_FILE, header = 0)
    df_user = df_user[['user_id', 'age', 'sex', 'user_lv_cd']]
    return df_user

user_base = get_from_jdata_user()
user_behavior = merge_action_data()

user_behavior = pd.merge(user_base, user_behavior, on = ['user_id'], how = 'left')
user_behavior.to_csv(USER_TABLE_FILE, index = False)

user_table = pd.read_csv(USER_TABLE_FILE)
print(user_table.shape)
user_table.head()

在这里插入图片描述

2.2 构建Item_table

# 读取Product中商品
def get_from_jdata_product():
    df_item = pd.read_csv(PRODUCT_FILE, header = 0, encoding = 'gbk')
    return df_item

# 对每一个商品分组进行统计
def add_type_count(group):
    behavior_type = group.type.astype(int)
    type_cnt = Counter(behavior_type)
    group['browse_num'] = type_cnt[1]
    group['addcart_num'] = type_cnt[2]
    group['delcart_num'] = type_cnt[3]
    group['buy_num'] = type_cnt[4]
    group['favor_num'] = type_cnt[5]
    group['click_num'] = type_cnt[6]
    return group[['sku_id', 'browse_num', 'addcart_num', 'delcart_num', 'buy_num', 'favor_num', 'click_num']]

# 对action中的数据进行统计
def get_from_action_data(fname, chunk_size = 50000):
    reader = pd.read_csv(fname, header = 0, iterator = True)
    chunks = []
    loop = True
    while loop:
        try:
            chunk = reader.get_chunk(chunk_size)[['sku_id', 'type']]
            chunks.append(chunk)
        except StopIteration:
            loop = False
            print('Iteration is stopped')
    df_ac = pd.concat(chunks, ignore_index = True)
    df_ac = df_ac.groupby('sku_id', as_index = False).apply(add_type_count)
    df_ac = df_ac.drop_duplicates('sku_id')
    return df_ac

# 获取评论中的商品数据,如果存在某一个商品有两个日期的评论，取最晚的那一个
def get_from_jdata_comment():
    df_cmt = pd.read_csv(COMMENT_FILE, header = 0)
    df_cmt['dt'] = pd.to_datetime(df_cmt['dt'])
    idx = df_cmt.groupby(['sku_id'])['dt'].transform(max) == df_cmt['dt']
    df_cmt = df_cmt[idx]
    return df_cmt[['sku_id', 'comment_num', 'has_bad_comment', 'bad_comment_rate']]

# 数据合并
def merge_action_data():
    df_ac = []
    df_ac.append(get_from_action_data(fname = ACTION_201602_FILE))
    df_ac.append(get_from_action_data(fname = ACTION_201603_FILE))
    df_ac.append(get_from_action_data(fname = ACTION_201604_FILE))
    df_ac = pd.concat(df_ac, ignore_index = True)
    # 用户在不同action表中统计量求和
    df_ac = df_ac.groupby(['sku_id'], as_index = False).sum()
    # 构造转化率字段
    df_ac['buy_addcart_ratio'] = df_ac['buy_num'] / df_ac['addcart_num']
    df_ac['buy_browse_ratio'] = df_ac['buy_num'] / df_ac['browse_num']
    df_ac['buy_click_ratio'] = df_ac['buy_num'] / df_ac['click_num']
    df_ac['buy_favor_ratio'] = df_ac['buy_num'] / df_ac['favor_num']
    # 将大于１的转化率字段置为１(100%)
    df_ac.loc[df_ac['buy_addcart_ratio'] > 1, 'buy_addart_ratio'] = 1.
    df_ac.loc[df_ac['buy_browse_ratio'] > 1, 'buy_browse_ratio'] = 1.
    df_ac.loc[df_ac['buy_click_ratio'] > 1, 'buy_click_ratio'] = 1.
    df_ac.loc[df_ac['buy_favor_ratio'] > 1, 'buy_favor_ratio'] = 1.
    return df_ac

item_base = get_from_jdata_product()
item_behavior = merge_action_data()
item_comment = get_from_jdata_comment()

item_behavior = pd.merge(item_base, item_behavior, on = 'sku_id', how = 'left')
item_behavior = pd.merge(item_behavior, item_comment, on = 'sku_id', how = 'left')
item_behavior.to_csv(ITEM_TABLE_FILE, index = False)

item_tabel = pd.read_csv(ITEM_TABLE_FILE)
print(item_tabel.shape)
item_tabel.head()

在这里插入图片描述

三. 数据清洗

import pandas as pd
df_user = pd.read_csv('京东/User_table.csv', header = 0)
pd.options.display.float_format = '{:.3f}'.format #输出格式设置，保留三位小数
df_user.describe()

在这里插入图片描述

df_user[df_user['age'].isnull()]

在这里插入图片描述

# 删除没有age,sex的用户
delete_index = df_user[df_user['age'].isnull()].index
df_user.drop(delete_index, axis = 0, inplace = True)

# 删除无交互记录的用户
df_naction = df_user[df_user['browse_num'].isnull() & df_user['addcart_num'].isnull() & df_user['delcart_num'].isnull() & df_user['buy_num'].isnull() & df_user['favor_num'].isnull() & df_user['click_num'].isnull()]
df_user.drop(df_naction.index, axis = 0, inplace = True)
print(len(df_user))

# 统计并删除无购买记录的用户
df_bzero = df_user[df_user['buy_num'] == 0]
print(len(df_bzero))
df_user = df_user[df_user['buy_num'] != 0]
df_user.describe()

105177
75694
在这里插入图片描述

# 删除爬虫及惰性用户
bindex = df_user[df_user['buy_browse_ratio'] < 0.0005].index
print(len(bindex))
df_user.drop(bindex, axis = 0, inplace = True)

cindex = df_user[df_user['buy_click_ratio'] < 0.0005].index
print(len(cindex))
df_user.drop(cindex, axis = 0, inplace = True)

df_user.describe()

在这里插入图片描述

df_user.to_csv('京东/User_table.csv', index = None)

四. 数据探索

4.1 一周各天购买情况

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

ACTION_201602_FILE = "京东/JData_Action_201602.csv"
ACTION_201603_FILE = "京东/JData_Action_201603.csv"
ACTION_201604_FILE = "京东/JData_Action_201604.csv"
COMMENT_FILE = "京东/JData_Comment.csv"
PRODUCT_FILE = "京东/JData_Product.csv"
USER_FILE = "京东/JData_User.csv"
USER_TABLE_FILE = "京东/User_table.csv"
ITEM_TABLE_FILE = "京东/Item_table.csv"

# 提取购买(type=4)的行为数据
def get_from_action_data(fname, chunk_size
最低0.47元/天 解锁文章
弎见
关注
专栏目录
基于大数据对京东用户的购买意向分析
AI大模型应用之禅
06-12 666
1. 背景介绍 随着互联网的普及和电商行业的发展，越来越多的人选择在网上购物。京东作为中国最大的综合性电商平台之一，拥有庞大的用户群体和海量的商品数据。如何利用这些数据，分析用户的购买意向，对于电商企业来说是非常重要的。 本文将介绍如何基于大数据对京东用户的购买意向进行分析，包括核心概念、算法原理、数学模型、项目实践、实际应用场景、工具
JData数据处理及高潜用户购买意向预测
xmg26的博客
02-05 1万+
竞赛概述： 本次大赛以京东商城真实的用户、商品和行为数据（脱敏后）为基础，参赛队伍需要通过数据挖掘的技术和机器学习的算法，构建用户购买商品的预测模型，输出高潜用户和目标商品的匹配结果，为精准营销提供高质量的目标群体。同时，希望参赛队伍能通过本次比赛，挖掘数据背后潜在的意义，为电商用户提供更简单、快捷、省心的购物体验。 数据介绍： 符号定义： S：提供的商品全集； P：候选的商品子
京东用户购买意向预测（一）
每天进步一点
07-21 1万+
数据清洗故事背景：数据集：数据挖掘流程：数据集验证首先检查JData_User中的用户和JData_Action中的用户是否一致检查是否有重复记录检查是否存在注册时间在2016年-4月-15号之后的用户行为数据中的user_id为浮点型，进行INT类型转换年龄区间的处理user_tableitem_table特征包括:构建User_table构建Item_table数据清洗用户清洗 故事背景： 京...
京东用户购买意向预测
weixin_45043118的博客
03-25 676
import pandas as pd import numpy as np from matplotlib import pyplot as plt import datetime import time import seaborn as sns from matplotlib import pyplot as plt plt.rcParams['font.sans-serif']=['Sim...
京东购买意向预测
Lemon_ZL的博客
07-07 364
构建新表 1.user_table 2.item_table
09- 京东客户购买意向预测 (机器学习集成算法) (项目九) *
March_A的博客
02-18 1917
根据已知用户购买、浏览数据，对用户未来的购买意向，进行预测。提前知道用户购买意向，可以大大提升，电商平台对物流的掌控力度，提前备货。对消费者也是一定好处，商品购买意向预测，相当于商品找消费者，实现个性化服务，消费者购物体验会大大提升~数据加载数据探索特征工程算法筛选模型评估。
AI竞赛1-Xgboost算法之京东用户购买意向预测
weixin_60536251的博客
05-20 1711
AI竞赛1-Xgboost算法之京东用户购买意向预测
京东购买意向预测（三）特征工程
qfikh的博客
11-29 1147
特征工程 用户基本特征： 获取基本的用户特征，基于用户本身属性多为类别特征的特点，对age,sex,usr_lv_cd进行独热编码操作，对于用户注册时间暂时不处理， 商品基本特征： 根据商品文件获取基本的特征 针对属性a1,a2,a3进行独热编码 商品类别和品牌直接作为特征？？ 评论特征： 分时间段，?? 对评论数进行独热编码: 0表示无评论，1表示有1条评论，2表示有2-10条评论...
数据挖掘 基于开源数据预测京东用户购买趋向
qq_39010254的博客
03-23 2094
2019.3.23 整理一下项目 准备写简历，第一个项目基于开源数据预测京东用户购买意向 ​ ​ ​ 数据挖掘流程： （一）.数据清洗 1. 数据集完整性验证 2. 数据集中是否存在缺失值 3. 数据集中各特征数值应该如何处理 4. 哪些数据是我们想要的，哪些是可以过滤掉的 5. 将有价值数据信息做成新的数据源...
2018年京东JDATA算法 大赛:"如期而至"-用户购买时间预测，方案分享-附件资源
03-02
2018年京东JDATA算法 大赛:"如期而至"-用户购买时间预测，方案分享-附件资源
JData-rank37-master.zip
08-12
京东数据挖掘大赛数据，用于用户购买意向预测的数据，感兴趣来下载吧
京东购买预测
qq_40647378的博客
12-17 161
学的就是这个，为存档 https://blog.csdn.net/weixin_44513830/article/details/96511323#_1
京东购买预测02
ggxiabai的博客
01-11 220
京东购买预测的函数使用方法 lambda 匿名函数,在代码中x为输入参数，x+1为函数体 G = lambda x:x+1 等价于： def G（x）: x += 1 return x outputs如下所示： G(1) = 2 G(2) = 3 apply() apply()函数的用法，其在pandas中是自由度很高的函数。 df.apply(func, axis = 0, broadcast = False, raw = False, reduce = None, args = (),
【机器学习】京东用户购买意向预测-数据集介绍和数据清洗 - 1
热门推荐
weixin_44727383的博客
03-25 1万+
主题：京东用户购买意向预测 数据集： 这里涉及到的数据集是京东最新的数据集： JData_User.csv 用户数据集 105,321个用户 JData_Comment.csv 商品评论 558,552条记录 JData_Product.csv 预测商品集合 24,187条记录 JData_Action_201602.csv 2月份行为交互记录 11,485,424条记录 JData_Actio...
京东购买意向预测（四）
每天进步一点
08-19 3625
Xgboost模型 模型设计 #!/usr/bin/env python # -*- coding: UTF-8 -*- import sys import pandas as pd import numpy as np import xgboost as xgb from sklearn.model_selection import train_test_split import operato...
京东用户购买行为预测论文
最新发布
qq_47888620的博客
07-03 1617
2.1由于爬虫爬取的数据集较大，所以采用数据库的方式展现数据集。1.JData_User.csv用户数据集105321个用户表3.1 用户数据User_id用户ID脱敏Age年龄段-1表示未知Sex性别0表示男，1表示女，2表示保密User_iv_cd用户等级有顺序的级别枚举，越高级别数字越大用户注册日期粒度到天2.JData_Product.csv预测商品集合24187条记录表3.2 商品数据Sku_id商品编号脱敏A1属性1枚举，-1表示未知A2属性2枚举，-1表示未知A3属性3枚举，
NO.90——京东用户购买意向预测之数据预处理
ghl1390490928的博客
03-13 2164
1 目标 使用京东多个品类下商品的历史销售数据，构建算法模型，预测用户在未来5天内，对某个目标品类下商品的购买意向。 2 数据集 这里涉及到的数据集是Kaggle上京东数据集： JData_User.csv 用户数据集 105,321个用户 JData_Comment.csv 商品评论 558,552条记录 JData_Product.csv 预测商品集合 24,187条记录 JData_Act...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值