电商用户行为和商品销售分析

1.项目背景

本项目以淘宝app平台产生的行为数据为数据集，通过常用的电商业务指标对淘宝用户行为和商品销售进行分析，从而探索淘宝用户的行为模式和商品的价值。

2.数据背景

UserBehavior是阿里巴巴提供的一个淘宝用户行为数据集，用于隐式反馈推荐问题的研究。该数据集包含了2017年11月25日至2017年12月3日之间，有行为的约一百万随机用户的所有行为（行为包括点击、购买、加购、喜欢

3.数据介绍

列名称 说明
userid 用户ID，序列化后的用户ID
itemid 商品ID，序列化后的商品ID
categoryid 商品类目ID，序列化后的商品所属类目ID
type 行为类型，枚举类型，包括(‘pv’, ‘buy’, ‘cart’, ‘fav’)
time 行为发生的日期时间
date 行为发生的日期
hour 行为发生的小时

行为类型 说明
pv 商品详情页pv，等价于点击
buy 商品购买
cart 将商品加入购物车
fav 收藏商品

# 导包;
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import gc
import datetime

from pyecharts.globals import CurrentConfig, NotebookType
from pyecharts import options as opts
from pyecharts.charts import Line
from pyecharts.charts import Bar

CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_NOTEBOOK;

# 取消科学计数法，保留两位小数;

pd.set_option("float_format", lambda x: "%.2f" % x)

4.数据读取&预处理

chunksize=1000000
data=pd.read_csv('UserBehavior2017.csv',engine='python',
encoding='utf-8',chunksize=chunksize)

dataframe=pd.DataFrame()
mylist=[]
start_index=0
for u in data:
    print("正在处理第"+str(start_index)+'块数据')
    mylist.append(u)
    start_index += 1
    
    '''if start_index==50:
        break'''

print("数据处理完成")

#合并数据
dataframe = pd.concat(mylist, ignore_index=True)
dataframe.drop('Unnamed: 0',axis=1,inplace=True)

del data,mylist,start_index
gc.collect()

# 把userid，itemid和categoryid的格式都转为文本格式，time和date都转为日期格式;

pd.set_option("float_format", lambda x: "%.2f" % x)

保留2017.11.25-2017.12.2期间的数据

startTime=datetime.datetime.strptime("2017-11-25 00:00:00","%Y-%m-%d %H:%M:%S")
endTime=datetime.datetime.strptime("2017-12-03 00:00:00","%Y-%m-%d %H:%M:%S")
dataframe=dataframe[(dataframe.time>=startTime) & (dataframe.time<endTime)]

#查看表头
 dataframe.head()

#查看数据的基本信息
dataframe.info()

缺失值查看
dataframe.isnull().sum()

5.数据分析

5.1 整体数据指标

5.1.1 整体数据维度

dataframe.describe(include='all')

#整体数据指标
total_pv=dataframe[dataframe['type']=='pv']['userid'].count()         #浏览量
total_unique_users = dataframe.userid.nunique()                       #独立访问用户
unique_users_dv=total_pv/total_unique_users                           #访问深度系数
total_buy=dataframe[dataframe['type']=='buy']['userid'].count()       #总购买数量
Conversion_Rate=total_buy/total_pv                                    #总体转化率
user_bought_count = dataframe[dataframe['type']=='buy'].userid.nunique()   #付费用户数
user_bought_rate=user_bought_count/total_unique_users                      #付费用户占比
All_ARPU=total_buy/total_unique_users                                  # 人均购买量
All_ARPPU=total_buy/user_bought_count                                  # 付费用户人均购买量    

Total_Summary=pd.DataFrame({
   'type':['浏览量','独立访问用户','访问深度系数','总购买数量','总体转化率',
                            '付费用户数','付费用户占比','人均购买量','付费用户人均购买量'],
        'amount':[total_pv,total_unique_users,unique_users_dv,total_buy,Conversion_Rate,
        user_bought_count,user_bought_rate,All_ARPU,All_ARPPU]})

Total_Summary

5.1.2 用户行为占比

type_series = dataframe.type.value_counts()
```j
```javascript
# 各个行为的操作总数，每日平均操作数，每日平均操作用户数记录
Test_days=dataframe['date'].nunique()
type_df=pd.DataFrame([type_series,type_series/Test_days,type_series/total_unique_users],
                     index=['total','avg_day','avg_user'])

type_df

日均浏览量2137517，加购物车量为131184，加收藏量为68974，订单量为48548份；
平均每位客户浏览淘宝网页17个网页（含重复浏览），购买0.4个物品或服务。

plt.figure(figsize=(15,5))
font = {
   "size":"12"}
plt.rc("font",**font)

plt.pie(type_series,labels=type_series.index,labeldistance = 1.1,autopct="%.2f%%")
plt.title(u"各类行为数量占比",loc='center')

plt.show()

整体用户的点击量占了89.58%，加收藏行为的占了2.89%，加购物车行为的占了5.5%，而购买行为则占了2.03%。

5.1.3 时间维度

#计算8天的每小时的PV和购买量
data_hour1=dataframe[dataframe['type'].isin (['pv','buy'])].pivot_table(index='hour',
columns='type',values='time',aggfunc='count')

#计算平均每小时的PV和购买量，与转化率
data_hour1['pv']=data_hour1['pv']/Test_days
data_hour1['buy']=data_hour1['buy']/Test_days
data_hour1['Conversion_Rate']=data_hour1['buy']/data_hour1['pv']

#计算独立访问数
data_hour2=dataframe[dataframe['type']=='pv'].pivot_table(index='hour',
columns='date',values='userid',aggfunc='nunique').mean(axis=1).to_frame()

data_hour=pd.concat([data_hour1,data_hour2],axis=1)
data_hour.columns=['buy','pv','Conversion_Rate','pv_user']

del data_hour1,data_hour2
gc.collect()

2330

plt.figure(figsize=(20,20))

#第一个图
plt.subplot(411)
plt.bar(data_hour.index,data_hour['pv'])
plt.title("每小时点击量")

#第二个图
plt.subplot(412)
plt.bar(data_hour.index,data_hour['pv_user'