淘宝用户行为分析

最新推荐文章于 2025-03-08 21:33:31 发布
最新推荐文章于 2025-03-08 21:33:31 发布
阅读量4.9k 收藏 51
点赞数 9
分类专栏： 剑指数据科学 # 科学计算与可视化 文章标签： 淘宝 电子商务 数据分析 Python 数据可视化
原文链接：https://www.kesci.com/home/project/5f38e680af3980002cbbac77
版权

文章目录

项目背景

以淘宝app平台为数据集，通过行业的指标对淘宝用户行为进行分析，从而探索淘宝用户的行为模式，具体指标包括：日PV和日UV分析，付费率分析，复购行为分析，漏斗流失分析和用户价值RFM分析。

数据来源

https://tianchi.aliyun.com/dataset/dataDetail?dataId=649&userId=1

数据介绍

列名称说明
用户ID整数类型，序列化后的用户ID
商品ID整数类型，序列化后的商品ID
商品类目ID整数类型，序列化后的商品所属类目ID
行为类型字符串，枚举类型，包括(‘pv’, ‘buy’, ‘cart’, ‘fav’)
时间戳行为发生的时间戳
行为类型说明
pv商品详情页pv，等价于点击
buy商品购买
cart将商品加入购物车
fav收藏商品

分析目标

  1. 用户行为分析/销售品类分析/用户分类/漏斗分析；
  2. 用户流失分析/用户复购分析
    A. 从整体数据来看，PV，UV，平均访问量，交易总数、交易用户比例，复购率和跳失率，用户流失分析(漏斗转换)，用户消费行为分析当日UV、当日平均访问量，当日交易用户数、交易用户比例(当日交易用户数/当日UV)，当日ARPU(总交易量/当日UVor活跃用户数)、当日ARPPU(总交易量/当日交易用户数or活跃交易用户量)，当日活跃用户数(自定义“活跃”)；——用户量变化趋势图
    B. 当日行为(pv,buy,cart,fav)数，当日行为转化率，分析三条路径：点击->收藏->购买；点击->加购->购买；点击->购买；——行为变化趋势图
  3. 时间维度分析——用户在哪些时间、时段活跃
    A. 用户行为时段分析
    B. 用户量(UV，交易用户数)时段分析
  4. 根据RFM模型对用户分类
  5. 商品分析——用户对哪些产品、类目感兴趣
    A. 热门商品top
    B. 热门商品类目top

技术栈

  • numpy
  • pandas
  • matplotlib
  • seaborn
  • pyecharts

数据读取与展示

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

from pyecharts.globals import CurrentConfig, NotebookType
from pyecharts import options as opts
from pyecharts.charts import Line
from pyecharts.charts import Bar

CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_NOTEBOOK

# 数据量过大，这里只选取前1000w行
# 根据官网介绍给定列名,具有可读性

columns=["userid", 'itemid', 'categoryid', 'type', 'timestamp']
data = pd.read_csv('/home/fonttian/Data/dataset/User Behavior Data from Taobao for Recommendation/UserBehavior.csv',
                   engine='python',
                   encoding='utf-8',
                   names=columns,
                   chunksize=10000000,
                   iterator=True)

dataframe = data.get_chunk(10000000)

# 查看数据的基本信息
dataframe.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10000000 entries, 0 to 9999999
Data columns (total 5 columns):
 #   Column      Dtype 
---  ------      ----- 
 0   userid      int64 
 1   itemid      int64 
 2   categoryid  int64 
 3   type        object
 4   timestamp   int64 
dtypes: int64(4), object(1)
memory usage: 381.5+ MB

# 缺失值查看
dataframe.isnull().sum()

userid        0
itemid        0
categoryid    0
type          0
timestamp     0
dtype: int64

dataframe.nunique()

userid          97811
itemid        1561016
categoryid       7967
type                4
timestamp      760501
dtype: int64

取一百万数据做分析,维度如下

维度数量
用户数量97,811
商品数量1,561,016
商品类目数量7,967
所有行为数量10,000,000
dataframe.head()
useriditemidcategoryidtypetimestamp
0122683182520377pv1511544070
1123333462520771pv1511561733
212576651149192pv1511572885
3138308084181361pv1511593493
4143655852520377pv1511596146

数据清洗

  1. 将时间戳转为日期

  2. 数据集说明中写的是本数据集的日期范围是2017年11月25日至2017年12月3日，所以剔除这日期以外的数据

import datetime

# 时区转换to_datetime的默认时区不是中国,所以要加8小时
dataframe['time']=pd.to_datetime(dataframe['timestamp'],unit='s')+datetime.timedelta(hours=8)

# 保留2017.11.25-2017.12.3期间的数据
startTime = datetime.datetime.strptime("2017-11-25 00:00:00","%Y-%m-%d %H:%M:%S")
endTime = datetime.datetime.strptime("2017-12-03 23:59:59","%Y-%m-%d %H:%M:%S")

dataframe = dataframe[(dataframe.time>=startTime)&(dataframe.time<=endTime)]
dataframe = dataframe.reset_index(drop=True)

# 按照日期和小时进行时间拆分
dataframe['date'] = dataframe.time.dt.date
dataframe['hour'] = dataframe.time.dt.hour

# 删除时间戳节约内存
dataframe.drop('timestamp', inplace=True, axis=1)

dataframe.head()
useriditemidcategoryidtypetimedatehour
0122683182520377pv2017-11-25 01:21:102017-11-251
1123333462520771pv2017-11-25 06:15:332017-11-256
212576651149192pv2017-11-25 09:21:252017-11-259
3138308084181361pv2017-11-25 15:04:532017-11-2515
4143655852520377pv2017-11-25 15:49:062017-11-2515
dataframe.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 9994446 entries, 0 to 9994445
Data columns (total 7 columns):
 #   Column      Dtype         
---  ------      -----         
 0   userid      int64         
 1   itemid      int64         
 2   categoryid  int64         
 3   type        object        
 4   time        datetime64[ns]
 5   date        object        
 6   hour        int64         
dtypes: datetime64[ns](1), int64(4), object(2)
memory usage: 533.8+ MB

数据分析

用户行为分析

整体概况

从整体数据来看，PV，UV，平均访问量，交易总数、交易用户比例，复购率和跳失率，用户流失分析(漏斗转换)

# 取消科学计数法，保留两位小数
pd.set_option("float_format", lambda x: "%.2f" % x)

# 9天总用户量，有操作的商品及商品类目
total_unique_users = dataframe.userid.nunique()                          # 独立访客数UV
total_unique_itemid = dataframe.itemid.nunique()                         # 有操作的商品
total_unique_categoryid = dataframe.categoryid.nunique()                 # 有操作的商品类目
user_bought_count = dataframe[dataframe['type']=='buy'].userid.nunique() # 付费用户数
user_nobought_count = total_unique_users - user_bought_count             # 非付费用户数

print(f"          UV：{total_unique_users}")
print(f"      商品数：{total_unique_itemid}")
print(f"      类目数：{total_unique_categoryid}")

print(f"  付费用户数：{user_bought_count}")
print(f"付费用户占比：{user_bought_count/total_unique_users*100:.2f}%")

          UV：97810
      商品数：1560525
      类目数：7966
  付费用户数：66452
付费用户占比：67.94%

type_series = dataframe.type.value_counts()

plt.figure()
plt.pie(x=type_series,labels=type_series.index,autopct='%1.2f%%')
plt.show()

在这里插入图片描述

type_df=pd.DataFrame([type_series,type_series/9,type_series/total_unique_users],
                     index=['total','avg_day','avg_user'])

# 付费用户行为记录
type_df.loc['paying_user']=dataframe[dataframe['userid'].isin(dataframe[dataframe['type']=='buy']['userid'])].type.value_counts()

type_df
pvcartfavbuy
total8944510.00559132.00291657.00199147.00
avg_day993834.4462125.7832406.3322127.44
avg_user91.455.722.982.04
paying_user6638346.00432612.00211633.00199147.00
跳失率和复购率

跳失率=只有点击行为的用户/总用户数

其实真正的跳失率应该是只浏览一个页面就离开的访问次数 / 该页面的全部访问次数
这边只是为了突出这些有待发展的客户

复购率=购买2次及以上用户数/总购买用户数

复购率可以分为按客户计算和按交易计算，这里我采用的是按客户计算。
一定要确定统计周期，像这个数据的统计周期就是9天

groupby_userid = dataframe.groupby(by='userid')
user_type = groupby_userid.type.value_counts().unstack()  # 使用unstack进行不堆叠操作，列方向上的索引转成行方向的索引

user_type.tail()
typebuycartfavpv
userid
1017990nan3.00nan56.00
1017994nan3.003.0029.00
10179972.00nan3.0090.00
1018000nan4.00nan181.00
10180111.00nannan41.00
# 跳失率

# sum(axis=1)对DataFrame进行横向相加，如果一个userid的pv值==横向相加的和，那就表明他只有点击行为
only_pv_users = user_type[user_type['pv']==user_type.sum(axis=1)]
# 计算跳失率
bounce_rate = only_pv_users.shape[0]/total_unique_users
print("跳失率:{:.2f}%".format(bounce_rate*100))

跳失率:5.74%

分析：跳失率为5.74%，数值看上去较小，但跳失率一定程度上反映了商品的受欢迎程度，最好还是结合行业数据和以往数据分析是否处于正常范围。
影响跳失率的相关因素有：商品吸引力、商品加载时长等。

# 复购率

repurchase_users = user_type[user_type['buy']>=2].shape[0]  # 购买记录超过1次的用户数
repurchase_rate = repurchase_users/user_bought_count
print("复购率:{:.2f}%".format(repurchase_rate*100))

# 进一步分析复购次数
sns.distplot(user_type[user_type['buy']>=2]['buy']-1,kde=False)
plt.show()

复购率:66.01%

在这里插入图片描述

结论：淘宝用户复购率能达到66.01%，但是进一步查看用户复购次数，发现绝大多数用户复购次数很少；

推测：淘宝的市场份额一直稳居前列，用户量足够庞大，足够的用户量复购一次也能提高复购率。

个人思考：在淘宝下沉扩展获取新用户的同时，促进老用户复购次数增加，进一步稳定提高复购率应是更重要的事情。购买一次可能是被吸睛的标题、精美的图片或是诱人的营销活动吸引，而复购就要求产品质量过关、服务到位，消费者对第一次的购物体验很满意才会进行第二次,所以淘宝可以重点在这些方面帮助商家。

用户转化漏斗分析

行为(pv,buy,cart,fav)数，行为转化率，分析两条路径：点击->收藏->购买；点击->加购->购买

pv_df = dataframe[dataframe['type']=='pv']
buy_df = dataframe[dataframe['type']=='buy']
cart_df = dataframe[dataframe['type']=='cart']
fav_df = dataframe[dataframe['type']=='fav']

# process1 点击->加购->购买
pv_cart_df = pd.merge(left=pv_df,right=cart_df,how='inner',on=['userid','itemid','categoryid'],suffixes=('_pv','_cart'))
cart_buy_df = pd.merge(left=cart_df,right=buy_df,how='inner',on=['userid','itemid','categoryid'],suffixes=('_cart','_buy'))
count_users_pv_cart = pv_cart_df[pv_cart_df.time_pv < pv_cart_df.time_cart].userid.nunique()
count_users_cart_buy = cart_buy_df[cart_buy_df.time_cart < cart_buy_df.time_buy].userid.nunique()

# process2 点击->收藏->购买
pv_fav_df = pd.merge(left=pv_df,right=fav_df,how='inner',on=['userid','itemid','categoryid'],suffixes=('_pv','_fav'))
fav_buy_df = pd.merge(left=fav_df,right=buy_df,how='inner',on=['userid','itemid','categoryid'],suffixes=('_fav','_buy'))
count_user_pv_fav = pv_fav_df[pv_fav_df.time_pv < pv_fav_df.time_fav].userid.nunique()
count_user_fav_buy = fav_buy_df[fav_buy_df.time_fav < fav_buy_df.time_buy].userid.nunique()

fav_cart_ratio = (count_user_pv_fav+count_users_pv_cart)/total_unique_users
buy_ratio=(count_user_fav_buy+count_users_cart_buy)/total_unique_users

print('收藏加购用户转化率为:%.2f%%'%(fav_cart_ratio*100))
print('购买用户转化率为:%.2f%%'%(buy_ratio*100))

收藏加购用户转化率为:59.40%
购买用户转化率为:31.32%

from pyecharts.charts import Funnel
# 漏斗图datapair
process_data_pair = [("点击量", total_unique_users), 
                     ("收藏加购量", count_user_pv_fav+count_users_pv_cart),
                     ("购买量", count_user_fav_buy+count_users_cart_buy)]
(
    Funnel(init_opts=opts.InitOpts(width='500px', height='400px'))
    .add("type", 
         data_pair=process_data_pair, 
         label_opts=opts.LabelOpts(position="top"),
         gap=2,
         tooltip_opts=opts.TooltipOpts(is_show=True))
    .set_global_opts(title_opts=opts.TitleOpts(title="用户转化率", subtitle="process 浏览->收藏/加购->购买")) 
).render_notebook() 

/home/fonttian/anaconda3/envs/keras/lib/python3.8/site-packages/pyecharts/charts/chart.py:14: PendingDeprecationWarning: pyecharts 所有图表类型将在 v1.9.0 版本开始强制使用 ChartItem 进行数据项配置 :)
  super().__init__(init_opts=init_opts)

    <div id="cb60083ae4ee4896b839e0046a959c31" style="width:500px; height:400px;"></div>

时间维度分析

  1. 用户行为时间维度分析
  2. 用户量时间维度分析

用户行为变化

用户行为变化趋势

  • 点击量、收藏量、加购量、购买量在2017/12/02当天上升明显，尤其，2017/12/02和17/11/25同为周六，相比之下，2017/12/2点击量上升尤为明显，经过查找和推测，2017/12/02当天淘宝开始为“双十二”活动进行预热，开启商品精选活动，因此吸引了更多的点击量。
  • 周末的各项指标都优于周内，周六周日用户尤为活跃，用户有更多的时间可以逛淘宝，因此一些营销活动应当在周六周日进行。

用户行为时段分布

  • 各时段指标走势大致一致。
  • 5:00-10:00及18:00-21:00两段时间是用户活跃度迅速增长的时段。
  • 10:00-18:00这个时间段的用户活跃度上下浮动，但基本保持着同一水平。
  • 13:00，15:00这两个时间段是用户活跃度稳定阶段的两个小高峰，我们可以猜测13:00是因为用户工作午休结束了拿起手机再摸一会儿鱼造成的，15:00是因为工作了一两个小时又想摸鱼。17:00开始一部分用户下班了或马上下班，可以开始正大光明摸鱼。
  • 21:00达到用户操作量峰值。
  • 一些广告推广或者活动营销可以在18:00-21:00这段时间加大力度；

用户量分别情况

  • 每日用户量统计情况
  • 每日的活跃用户量基本在71%左右，而成交客户基本维持在20%
  • 2017/12/02和2017/12/03购买量和购买人数是上涨的，而活跃用户比例较前三天下降了一个百分点，且付费用户占比，ARPU、ARPPU均下降了一到两个百分点。
  • 这9天内，用户活跃天数呈现正态分布，用户活跃天数主要集中在3-7天（用户当天操作记录达3条算作当天活跃）
behavior_types=list(dict(dataframe['type'].value_counts()).keys())
behavior_types

['pv', 'cart', 'fav', 'buy']

groupby_date = dataframe.groupby(by=dataframe.date)                               # 根据日期分组
dates = sorted(list(dict(dataframe['date'].value_counts()).keys()))
dates_df = pd.DataFrame(data=None, index=dates, columns=behavior_types)           # 创建按日期分组的数据框

for d in dates:
    dates_df.loc[d] = groupby_date.get_group(d).type.value_counts()               # 按日期填充数据框

# 日期转换为星期，datetime.datetime.isoweekday（）返回的1-7代表周一--周日
dates_df['weekday'] = [datetime.datetime.isoweekday(datetime.date(x.year,x.month,x.day)) for x in dates_df.index]
dates_df
pvcartfavbuyweekday
2017-11-259318805628330168197196
2017-11-269522695946931281202117
2017-11-278974215501029723222251
2017-11-288836965419429002209962
2017-11-299131535580230030218143
2017-11-309293525672230469217314
2017-12-019721096288531048209415
2017-12-0212387858037740210258686
2017-12-0312258457839039726256427

这里用分别用matplotlib和pyecharts进行绘图，通过可视化可以观察到由pyecharts对用户多种行为变化趋势的观察更为友好，本项目后续可视化将采用pyecharts库实现；
并不是说matplotlib就不好，个人觉得就一般静态图或比较对象相差较大的可以用matplotlib就能观察并得出结论，但像下图这样除了pv其他用户行为几乎都挤在一起很不利于肉眼观测，而pyechart可以通过鼠标拖动能显示数量，更清晰直接。

dates_df.plot(rot=60)
plt.show()

在这里插入图片描述

(
    Line(init_opts=opts.InitOpts(width="800px", height="500px"))
    .add_xaxis(xaxis_data=dates_df.index)
    .add_yaxis("pv", y_axis=dates_df['pv'],is_symbol_show=False)
    .add_yaxis("cart",y_axis=dates_df['cart'],is_symbol_show=False)
    .add_yaxis("fav",y_axis=dates_df['fav'],is_symbol_show=False)
    .add_yaxis("buy",y_axis=dates_df['buy'],is_symbol_show=False)
    .add_yaxis("ops",y_axis=dataframe.groupby(by=['date'])['userid'].count(),is_symbol_show=False)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="用户行为变化趋势图", 
                                  subtitle="2017/11/25-2017/12/03期间用户行为变化趋势"),
        tooltip_opts=opts.TooltipOpts(trigger='axis'),
        toolbox_opts=opts.ToolboxOpts(is_show=True),
        xaxis_opts=opts.AxisOpts(type_='category', boundary_gap=False))
).render_notebook()

/home/fonttian/anaconda3/envs/keras/lib/python3.8/site-packages/pyecharts/charts/chart.py:14: PendingDeprecationWarning: pyecharts 所有图表类型将在 v1.9.0 版本开始强制使用 ChartItem 进行数据项配置 :)
  super().__init__(init_opts=init_opts)

    <div id="de7f59fe737e4e3791f71fe974fc4d40" style="width:800px; height:500px;"></div>

groupby_hour = dataframe.groupby(by='hour')                                         # 根据时段分组
hours = [x for x in range(0, 24)]
hours_df = pd.DataFrame(data=None, index=hours, columns=behavior_types)

for h in hours:
    hours_df.loc[h] = groupby_hour.get_group(h).type.value_counts()

hours_df['uv'] = [groupby_hour.get_group(hour).userid.nunique() for hour in hours]  # 独立访客量

(
    Line(init_opts=opts.InitOpts(width="800px", height="500px"))
    .add_xaxis(xaxis_data=hours_df.index)
    .add_yaxis("pv", y_axis=hours_df['pv'],is_symbol_show=False)
    .add_yaxis("cart",y_axis=hours_df['cart'],is_symbol_show=False)
    .add_yaxis("fav",y_axis=hours_df['fav'],is_symbol_show=False)
    .add_yaxis("buy",y_axis=hours_df['buy'],is_symbol_show=False)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="用户行为时段分布图", 
                                  subtitle="用户行为的时段分布情况"),
        tooltip_opts=opts.TooltipOpts(trigger='axis'),
        toolbox_opts=opts.ToolboxOpts(is_show=True),
        xaxis_opts=opts.AxisOpts(type_='category', boundary_gap=False))
).render_notebook()

/home/fonttian/anaconda3/envs/keras/lib/python3.8/site-packages/pyecharts/charts/chart.py:14: PendingDeprecationWarning: pyecharts 所有图表类型将在 v1.9.0 版本开始强制使用 ChartItem 进行数据项配置 :)
  super().__init__(init_opts=init_opts)

    <div id="2c999a4679e2411881c8ca4a8c3e675e" style="width:800px; height:500px;"></div>

当日UV、当日平均访问量，当日交易用户数、交易用户比例(当日交易用户数/当日UV)，当日ARPU(总交易量/当日UVor活跃用户数)、当日ARPPU(总交易量/当日交易用户数or活跃交易用户量)，当日活跃用户数(自定义“活跃”)；——用户量变化趋势图

dates_df['uv'] = [groupby_date.get_group(d).userid.nunique() for d in dates]  # 每日独立访客量

# 自定义当天使用淘宝app进行5次操作（无论是查看详情页、收藏、加入购物车还是购买都算）的用户就是活跃用户
active_user_standard = 3                                                      # 自定义活跃用户操作次数基准
dates_df['dau'] = [(groupby_date.get_group(d).groupby(by='userid').size()>active_user_standard).value_counts()[True] for d in dates]
dates_df['au_rate'] = dates_df['dau']/dates_df['uv']                          # 活跃用户比例
dates_df['buyer'] = dataframe[dataframe['type']=='buy'].groupby(by=['date','userid']).size().count(level=0)
dates_df['buyer_rate'] = dates_df['buyer']/dates_df['uv']                     # 付费用户比例
dates_df['ARPU'] = dates_df['buy']/dates_df['uv']                             # 人均购买量=总交易量/当日UV
dates_df['ARPPU'] = dates_df['buy']/dates_df['buyer']                         # 付费用户人均购买量
dates_df
pvcartfavbuyweekdayuvdauau_ratebuyerbuyer_rateARPUARPPU
2017-11-25931880562833016819719669932503210.72129600.190.281.52
2017-11-26952269594693128120211770851518010.73134080.190.291.51
2017-11-27897421550102972322225170215506040.72143670.200.321.55
2017-11-28883696541942900220996270304503930.72138620.200.301.51
2017-11-29913153558023003021814371298516660.72142950.200.311.53
2017-11-30929352567223046921731472459523700.72144180.200.301.51
2017-12-01972109628853104820941573266535650.73139830.190.291.50
2017-12-021238785803774021025868696072681890.71173950.180.271.49
2017-12-031225845783903972625642795785673600.70173410.180.271.48
(
    Line(init_opts=opts.InitOpts(width="800px", height="500px"))
    .add_xaxis(xaxis_data=dates_df.index)
    .add_yaxis("uv", y_axis=dates_df['uv'],is_symbol_show=False)
    .add_yaxis("dau",y_axis=dates_df['dau'],is_symbol_show=False)
    .add_yaxis("buyer",y_axis=dates_df['buyer'],is_symbol_show=False)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="用户量变化趋势", 
                                  subtitle="2017/11/25-2017/12/03期间用户量变化趋势"),
        tooltip_opts=opts.TooltipOpts(trigger='axis'),
        toolbox_opts=opts.ToolboxOpts(is_show=True),
        xaxis_opts=opts.AxisOpts(type_='category', boundary_gap=False))
).render_notebook()

/home/fonttian/anaconda3/envs/keras/lib/python3.8/site-packages/pyecharts/charts/chart.py:14: PendingDeprecationWarning: pyecharts 所有图表类型将在 v1.9.0 版本开始强制使用 ChartItem 进行数据项配置 :)
  super().__init__(init_opts=init_opts)

    <div id="7460f44ab92e45ddb829d5069c3b1d95" style="width:800px; height:500px;"></div>

# 用户活跃天数统计
tmp = dataframe[['userid','date','type']].groupby(by=['userid','date']).count()
user_active_days_df = tmp[tmp['type']>active_user_standard].count(level=0)
sorted_user_active_days_df = user_active_days_df['type'].value_counts().sort_index()

(
    Bar(init_opts=opts.InitOpts(width='600px', height='400px'))
    .add_xaxis(xaxis_data=list(sorted_user_active_days_df.index))
    .add_yaxis("用户活跃天数", y_axis=sorted_user_active_days_df.to_list())
    .set_series_opts(label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(title_opts=opts.TitleOpts(title="用户累计活跃天数分布图"), 
                 toolbox_opts=opts.ToolboxOpts(is_show=True))
).render_notebook()

/home/fonttian/anaconda3/envs/keras/lib/python3.8/site-packages/pyecharts/charts/chart.py:14: PendingDeprecationWarning: pyecharts 所有图表类型将在 v1.9.0 版本开始强制使用 ChartItem 进行数据项配置 :)
  super().__init__(init_opts=init_opts)

    <div id="2915e76f6a714ece89b11fc953eae376" style="width:600px; height:400px;"></div>

用户价值分析——RFM分析（Recency，Frequency，Monetary）

RFM模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱3项指标来描述该客户的价值状况。

  • R（Recency）：客户最近一次交易时间的间隔。R值越大，表示客户交易发生的日期越久，反之则表示客户交易发生的日期越近。
  • F（Frequency）：客户在最近一段时间内交易的次数。F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
  • M（Monetary）：客户在最近一段时间内交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。

本次分析数据集不含金额，因此仅从R、F两个维度进行分析

# R:Recency最近一次交易日期间隔；F:Frequency频率，交易次数
groupby_buy_userid = dataframe[dataframe['type']=='buy'].groupby(by='userid')
# 先创建一个空的DataFrame
RF = pd.DataFrame(index=groupby_buy_userid.groups.keys(), columns=['R', 'F'])

RF['F'] = groupby_buy_userid.type.count()
RF['last_buy_time'] = groupby_buy_userid.time.max()
# 假设获取数据集的第二天进行分析，所以选择2017/12/04为对照日期，保留天数
RF['R'] = (pd.to_datetime('2017-12-04')-RF['last_buy_time']).dt.days

# 最近的一次交易记录距离2017/12/04为0天
# 即12/03购买相差还不到一天，最远的为9天，平均为2.53天
# R我们划分4个区域 0-1,2-3,4-6,7-9,分别得分4，3，2，1

# 交易次数最少为1次最多为93次,平均3次
# 这里的3次分母是所有购买过商品的用户
# 而之前得出的人均购买次数2次分母是所有用户
# F划分4个区域 1,2,3,4+，分别得分1，2，3，4

RF[['R','F']].describe()
RF
count66452.0066452.00
mean2.533.00
std2.412.88
min0.001.00
25%0.001.00
50%2.002.00
75%4.004.00
max9.0093.00
def R_score(x):
    if 0 <= x <= 1:
        return 4
    elif 2 <= x <= 3:
        return 3
    elif 4 <= x <= 6:
        return 2
    elif 7 <= x <= 9:
        return 1
    else:
        return 0


def F_score(x):
    if x == 1:
        return 1
    elif x == 2:
        return 2
    elif x == 3:
        return 3
    elif x >= 4:
        return 4
    else:
        return 0


# 根据R,F进行评分
RF['R_score'] = RF.R.map(R_score)
RF['F_score'] = RF.F.map(F_score)


RF['R>mean?']=(RF['R_score']>RF['R_score'].mean())*1
RF['F>mean?']=(RF['F_score']>RF['F_score'].mean())*1

def user_classfication(tup):
    R_score, F_score = tup
    if R_score == 0 and F_score == 1:
        return "重要保持客户"
    elif R_score == 1 and F_score == 0:
        return "重要发展客户"
    elif R_score == 1 and F_score == 1:
        return "重要价值客户"
    elif R_score == 0 and F_score == 0:
        return "重要挽留客户"
    else:
        return None
    
RF['user_classification'] = RF[['R>mean?','F>mean?']].apply(user_classfication, axis=1)

RF.head()
RFlast_buy_timeR_scoreF_scoreR>mean?F>mean?user_classification
27222017-12-01 16:56:003200重要挽留客户
43062017-12-03 16:04:174411重要价值客户
100582017-11-28 09:51:172401重要保持客户
1175102017-11-28 16:09:392401重要保持客户
119432017-11-29 20:43:312301重要保持客户
# 统计用户分类情况
RF.user_classification.value_counts()

重要挽留客户    24819
重要价值客户    17023
重要发展客户    13246
重要保持客户    11364
Name: user_classification, dtype: int64

# 用户分类占比
RF.user_classification.value_counts(1)

重要挽留客户   0.37
重要价值客户   0.26
重要发展客户   0.20
重要保持客户   0.17
Name: user_classification, dtype: float64

根据RFM模型对用户分类后发现重要挽留客户比例最高，其次是重要价值用户，淘宝作为成熟的电子商务平台，重要价值客户达到了一定的比例，在其他电商平台相继发展的大环境下，淘宝应该注重重要挽留客户，但是淘宝目前是中国最受欢迎的电商平台，目前只要保证口碑，适当营销并推出一系列的活动就能稳固部分重要挽留客户，同时，需要提高社群管理的效率，将重要保持客户和重要发展客户转变为重要价值客户，可采取定期发送文案、赠送优惠券等方式。要抓住用户渴望被认同、提升优越感、爱占便宜等心理进行考虑。

商品销售分析

商品统计

分析指标：销量前十的种类categoryid，销量前十的商品itemid

关于“受欢迎”的产品，有的人理解是点击量高，有的人理解是销量高；
但有的点击量高的产品可能是因为被页面或广告等吸引而来，或者只是感兴趣，用户并不一定会购买；而销量高的产品有可能是用户真正需要的，搜索和点击购买的目标也比较明确。
衡量商品的市场情况，最好同时分析点击量和购买量。

groupby_itemid = dataframe.groupby(by='itemid')                               # 按商品分组
item_type_df = groupby_itemid.type.value_counts().unstack()                   # 展开为一个dataframe
item_type_df.replace(to_replace=np.nan, value=0, inplace=True)                # 缺失值补0
item_type_df = item_type_df.sort_values(by='buy', ascending=False)            # 按购买量降序排列
item_type_df['buy_pv_conversion_rate']=item_type_df['buy']/item_type_df['pv'] # 点击到购买的转化率

item_type_df.head(10)
typebuycartfavpvbuy_pv_conversion_rate
itemid
3122135134.0032.0021.00192.000.70
303135481.00178.0050.001827.000.04
296477476.0071.0015.00712.000.11
191070669.0013.005.00164.000.42
256026261.00136.0027.001127.000.05
111649259.0017.002.0091.000.65
396458356.0068.0010.00465.000.12
141582855.0055.003.00265.000.21
116823253.0039.0015.00307.000.17
318942652.0040.006.00390.000.13

结论：在购买率前十的商品中，可以观察到点击量到购买量的转化率差别巨大。

推测：根据上面购买量前十的商品，可以大致将商品分为三类——

  • 转化率极高(0.6,1]，该商品也许是特定群体非常需要的，他们搜索和点击的目标比较明确。电商平台可以收集用户信息，分析用户画像，结合商品特点，核实是否如此。如果是某类特征明显的用户群体购买更多，可以集中向该类用户多推送。如果没有明显的群体需求，建议对这类商品多做推广，因为原有的购买量比较高，若是能够提高点击量，可能购买量也会再上一个台阶。
  • 转化率一般(0.15,0.6]，电商平台应该重点推送该商品，因为该商品有市场，并且可以多做活动，吸引更多的潜在客户变成购买客户。
  • 转化率极低(0,0.15]，该商品应该首先从商品本身进行分析，部分转化率极低而销量却排在靠前的商品可能通过广告赚取了一定的点击量，但是购买量相对点击量极低可能是因为用户因为广告推广点击了但是这类商品本身不是用户需要的，又或者是价格过高？社会热点造成了炒作营销导致用户好奇的点击？更深的原因需要结合更多的信息进行进一步分析。
groupby_categoryid = dataframe.groupby(by='categoryid')
category_type_df = groupby_categoryid.type.value_counts().unstack()
category_type_df.replace(to_replace=np.nan, value=0, inplace=True)
category_type_df = category_type_df.sort_values(by='buy', ascending=False)
category_type_df['buy_pv_conversion_rate'] = category_type_df['buy']/category_type_df['pv']

category_type_df.head(10)
typebuycartfavpvbuy_pv_conversion_rate
categoryid
14641163555.006316.002743.0070782.000.05
27354663529.009913.003789.00115530.000.03
41458133350.0018251.0011456.00326440.000.01
28856423093.005853.003146.0095712.000.03
47561052944.0023627.0015007.00483732.000.01
48014262645.0012503.007087.00189092.000.01
9829262496.0015949.009062.00286661.000.01
26401181809.006236.001642.0072804.000.02
30025611744.008397.005585.00144378.000.01
13202931683.009532.005348.00177275.000.01
sns.distplot(category_type_df[(category_type_df['buy_pv_conversion_rate']<=1)&(category_type_df['buy_pv_conversion_rate']>0)]['buy_pv_conversion_rate'],
             kde=False)
plt.show()

在这里插入图片描述

结论：在购买率前十的商品类目中，分布比较集中，基本上转化率集中在(0,0.2]这个区间，而绝大多数转化率在0.1以内。

推测：这类商品转化率低可能因为同一类商品包含很多种商品，用户存在“货比三家”的心理，用户对于需要的该类商品可能不会购买多种商品，而是在该类商品中购买具体的一个商品。

个人思考：对于提高商品类目的转化率，可以考虑优化商品类目所包含的商品对于用户的推荐算法，首先推测用户可能感兴趣的商品类目，然后从用户可能感兴趣的商品类目中推荐有比较性的具体商品，这样可以减少用户比较多个商品来回跳转的点击量，能在更短的时间做出比较并选择需要购买的商品。

帕累托分析

帕累托分析（贡献度分析） → 帕累托法则：二八定律

category_type_df['cumsum'] = category_type_df['buy'].cumsum()

key = category_type_df['buy'].sum()*0.8
category_type_df['class'] = category_type_df['cumsum'].map(lambda x: 'up_80' if x<=key else 'down_20' )

category_type_df['class'].value_counts(1)

down_20   0.92
up_80     0.08
Name: class, dtype: float64

前80%销量有8%左右的商品品类提供，后20%的销量由92%左右的商品品类提供，接近二八定律所表示的由少数商品品类掌控了大部分的销量。

总结

从整体概况来看，用户操作记录购买率占比很低，而在对用户进行漏斗分析后能发现付费用户占比达到了31.32%，这表明淘宝平台用户具有一定粘性，想要提高销售额，就是要想办法提高用户购买率，一方面是促进收藏加购用户朝付费用户的转化，另一方面是促进浏览不购买的用户对商品的兴趣从而促进商品的销量。

一些参考：

分析：
http://www.woshipm.com/data-analysis/4123802.html
https://www.kesci.com/home/project/5df87bc02823a10036aca279
https://zhuanlan.zhihu.com/p/119293836
https://blog.csdn.net/lqq6315/article/details/103224178
https://blog.csdn.net/violette_lx/article/details/104281619

pyecharts绘图：
http://gallery.pyecharts.org/#/README

数据分析之实战项目——电商用户行为分析
天阑之蓝的博客
06-07 3万+
电商用户行为分析 分析背景和目的 随着互联网和电商的发展，人们习惯于网上购物。在国内，电商平台深受欢迎，每年的双11，双12活动，大量的用户在淘宝平台浏览商品，或收藏或加入购物车或直接购买。通过对用户的行为分析，探索用户购买的规律，了解商品的受欢迎程度，结合店铺的营销策略，实现更加精细和精准的运营，让业务获得更好的增长。
电商用户行为数据分析
热门推荐
zhiliao117的博客
05-15 4万+
前言 本文针对淘宝app的运营数据，以行业常见指标对用户行为进行分析，包括 一、提出问题 1.电商常用分析体系 2.电商常用分析指标 3.本次分析的业务问题以及分析逻辑 本次想通过对淘宝用户行为数据的分析，解决以下业务问题： 以下为分析逻辑和用到适用的业务指标： ...
电商用户行为数据，来源于埋点数据
06-18
来源：电商用户行为埋点数据，包括：1.事件类型:install安装|launch启动|interactive交 互|page_enter_h5页面曝光|page_enter_native页面进入|exit退出等。2.行为类型:click点击|view浏览|slide滑动|input输入
Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）
12-11
Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目），含有代码注释，满分大作业资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习大作业淘宝用户行为分析源码+实验报告（高分项目）Python机器学习
淘宝用户行为数据分析（个人项目）
最新发布
THOR_IVAN的博客
03-08 1540
该分析报告选取阿里天池淘宝用户行为数据为数据源进行分析，分析步骤如下：导入数据、数据清洗、数据分析、提出假设及建议。数据分析从以下五个方面入手：数据总览、用户行为习惯、用户行为路径、商品偏好、用户价值，搭建相关数据指标体系，可以将数据归纳为以下两个层面的指标：行为指标：日点击量PV、日活跃人数UV、转化率；商品指标：复购率、商品排行。基于上述两个层面的指标，也会出现一些基于公式的衍生指标，比如日人均浏览次数PV/UV。
18 - python淘宝用户行为分析
08-11
18 | python淘宝用户行为分析
电商用户行为分析---Python
06-16
电商用户行为分析---Python
电商数据分析--用户行为分析
weixin_50918736的博客
07-03 5618
电商数据分析-用户行为分析AARR model
电商用户行为分析
秋雨ヾ的博客
07-21 2617
用户行为分析 电商用户行为数据多样，整体可以分为用户行为习惯数据和业务行为数据两大 类。 用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏 览页面、页面停留时间以及页面跳转等等，我们可以从中进行流量统计和热门商品 的统计，也可以深入挖掘用户的特征；这些数据往往可以从 web 服务器日志中直接 读取到。而业务行为数据就是用户在电商平台中针对每个业务（通常是某个具体商 品）所作的操作，我们一般会在业务系统中相应的位置埋点，然后收集日志进行分 析。 业务行为数据又可以简单分为两类： 一类是
淘宝电商用户行为数据分析及可视化—基于MySQL/Power BI（含代码）
Stella的博客
05-28 1万+
本项目以阿里巴巴移动电商平台的真实用户-商品行为数据为基础，使用MySQL进行数据清洗，以AARRR模型、RFM模型为基础展开分析，再用Power BI做可视化，最后从提升用户活跃度、促进商品成交、差异化用户营销三个方面提出建议。
电商类数据分析—淘宝用户行为数据
07-28
数据集描述 记录了一百万名有行为的淘宝用户行为记录样本，包含1，0015，0806条数据，987994个不同用户,4162024个不同商品,3623个不同商品分类， 4种行为（点击、购买、加购、喜欢）数据。
数据分析精华案例-淘宝用户行为分析
04-07
### 数据分析精华案例-淘宝用户行为分析 #### 一、项目背景 随着移动互联网多年的发展，行业已经进入了下半场。在这个阶段，企业不再依赖用户数量的增长红利来推动业务发展，而是转向更加精细化的管理方式。这涉及...
数据分析项目｜淘宝用户行为分析（Python+可视化）
m0_74942241的博客
02-06 8675
数据分析项目｜淘宝用户行为分析（Python+可视化）
【入门数据分析】淘宝用户行为分析
v_o_b的博客
04-18 4153
前言 分析目的：本文基于淘宝1年的交易数据对其用户行为进行多角度分析，对相关问题进行解释并提供建议。 分析工具：MySQL(主要分析工具)、python、excel 主要模型：AARRR、RFM模型 一、问题背景和分析逻辑 问题背景 1）找到影响新增用户数量的原因和需要改进的转化环节，发现留存现存问题； 2）不同时间周期、不同时段的用户行为规律； 3）找出、分析价值最高的核心付费用户群并进行差异化营销； 4）分析用户的商品种类偏好，并制定针对的营销策略； 分析逻辑 这里基于AARRR模型，通过流程效率拆解用
电商用户行为数据可视化分析实战（频率分布直方图、箱限图、小提琴图、分组函数（groupby）、sns.FacetGrid)）
Triumph19的博客
10-10 1480
电商用户行为数据可视化分析实战
电商数据分析1——电商平台的用户行为分析与优化策略
theskylife的博客
02-20 4690
在竞争激烈的电商市场中，了解和分析用户行为成为了提升用户体验和增加销售额的关键。通过深入分析用户行为数据，电商平台能够更好地理解用户需求，预测市场趋势，并据此优化产品和服务，从而提升用户满意度和忠诚度。本文将探讨用户行为分析的基本概念、关键指标，以及如何通过用户行为分析来优化电商平台策略。
数据挖掘在电商领域: 用户行为分析与优化
AI天才研究院
12-26 903
1.背景介绍 电商是指通过互联网进行的电子商务，包括在线购物、在线支付、在线咨询等。随着互联网的普及和人们生活中越来越多的商业活动转向网络，电商已经成为现代商业的重要一部分。在电商中，数据挖掘技术发挥着重要的作用，可以帮助企业更好地了解用户行为、预测市场趋势、优化商品推荐等。 在电商中，用户行为数据是非常丰富的，包括用户的浏览、购买、评价等行为。这些数据可以帮助企业更好地了解用户的需求和喜好，...
淘宝用户行为分析hadoop
09-09
Hadoop 是一个开源的分布式处理框架，可以用于处理大规模数据集。对于淘宝用户行为分析，Hadoop 可以发挥重要作用。 首先，Hadoop 提供了 Hadoop Distributed File System (HDFS)，可以存储大规模的数据集，并具备高容错性和可扩展性。淘宝的用户行为数据可以通过 HDFS 进行存储和管理。 其次，Hadoop 的核心组件之一是 MapReduce，通过它可以进行数据的并行计算和分布式处理。对于淘宝用户行为数据的分析，可以使用 MapReduce 编写相应的任务，对数据进行清洗、转换和聚合等操作。 此外，Hadoop 生态系统中还有许多相关工具和框架，如 Hive、Pig、Spark 等，可以与 Hadoop 配合使用，提供更高级的数据处理和分析功能。例如，可以使用 Hive 进行数据仓库的构建和查询，使用 Spark 进行实时数据处理和机器学习等。 总之，通过 Hadoop 及其生态系统工具，可以实现对淘宝用户行为数据的存储、处理和分析，为淘宝提供更深入的洞察和决策支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值