一、认识数据
1.1 数据来源及介绍
本数据来源于阿里云天池,是其随机选择约100万用户在2017年11月25日至12月3日之间发生的行为记录,具有包括点击、购买、加购物车和收藏商品的行为。数据集的每一行表示一条用户行为,由用户ID、商品ID、商品类目ID、行为类型和时间戳组成,并以逗号分隔。
数据链接:数据集-阿里云天池
1.2 数据格式
字段说明:
- User ID: 用户ID
- Item ID: 商品ID
- Category ID: 商品所属品类ID
- Behavior type: 用户行为类型(pv=访问,fav=收藏,cart=加购物车,buy=支付)
- Timestamp: 用户行为发生的时间戳
二、提出问题
所给数据集只有5个字段、时间维度限制在9天内、商品数据均为脱敏数据、行为数据只有4种,具有一定的局限性。结合电商平台分析指标和AARRR漏斗分析模型,比较有分析价值的是用户行为和时间这两个维度。可以初步计划从用户行为习惯、用户消费习惯和用户价值等方分析。
2.1 用户行为方面
- 页面浏览量PV和独立访客数UV如何变化?和时间有关系吗?
- 用户的平均访问深度是多少?平台的跳失率怎么样?
- 用户从浏览到购买会经历哪些过程?最终的转化率如何?
- 平台用户留存率怎么样?
2.2 用户消费方面
- 平台的用户付费率是多少?用户复购的情况怎么样?
- 平台商品销售情况是怎么样?
- 商品销售之间有没有一定的联系?
2.3 用户价值方面
- 如何判断用户价值?针对不同用户如何采取不同的运营策略?
将上述问题整理如下,便于之后有针对性的进行分析:
三、数据处理
3.1 数据导入
用python导入前120万条数据,原数据没有列名,导入的时候加上对应的列名。
import pandas as pd
import numpy as py
%matplotlib inline
import matplotlib.pyplot as plt
data=pd.read_csv('./Desktop/淘宝/淘宝.csv',
header=None,nrows=1200000,
names=['user_id','product_id','item_id','behaviour_type','time'])
data.head()
查看数据类型,是否有缺失值,重复值。
data.info()
data.isnull().any()
data.duplicated().sum()
均无。
3.2数据整理
数据集原有的时间列采用时间戳存储,为了方便后续分析,这里将原有时间戳转为北京时间,并从中抽取出日期、时间和小时数据,同时将date列转换为时间类型,我们研究的是从2017年11月25日至2017年12月3日之间的行为数据,挑选出这一区间的数据。最后按照user_id和时间进行排序。
import datetime
data['time']=pd.to_datetime(data['time'],unit='s')+datetime.timedelta(hours=8)
data['date']=data['time'].map(lambda x:x.strftime('%Y-%m-%d %H').split(' ')[0])
data['hour']=data['time'].map(lambda x:x.strftime('%Y-%m-%d %H').split(' ')[1])
data['date']=pd.to_datetime(data['date'])
data = data[(data['date'] >= '2017-11-25') & (data['date'] <= '2017-12-03')]
data = data.sort_values(by = ['time','user_id'], ascending=True)
data = data.reset_index(drop=True)
data
四、数据分析
(一)用户行为习惯分析
4.1.1 页面访问量PV和独立访客数UV
下面按照日期分析UV、PV的变化趋势:
#pv_daily记录每天用户操作次数,uv_daily记录每天不同的上线用户数量
pv_daily=data.groupby('date')['user_id'].count().reset_index().rename(columns={'user_id':'pv'})
uv_daily=data.groupby('date')['user_id'].apply(lambda x:x.drop_duplicates().count()).reset_index().rename(columns={'user_id':'uv'})
x=pv_daily["date"]
y1=pv_daily["pv"]
y2=uv_daily["uv"]
plt.figure(figsize=(10,6))
plt.plot(x,y1,label=&#