Python大数据-对淘宝用户的行为数据分析，10年阿里开发架构师经验分享

四、数据清洗

1、读取查看数据的基本信息和数据的完整性

2、一致化处理：

3、查看是否有缺失值

五、数据分析

1、不同时间下PV、UV的流量变化情况

2、不同购物行为在不同时间维度下的变化情况

用户转化行为漏斗模型分析

六、结论分析

---

一、项目背景

---

• 通过对2014年11月17日至2014年12月17日之间数据进行合并，获得该月用户的行为数据，数据量在一千万条左右。

• 本次数据是在网上获取的来源于：数据集-阿里云天池，不在进行抓取或收集，大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现，详细的写了数据抓取的过程

• 使用的主要工具：python --jupyter notebook

二、项目目标

---

• 用户行为分析是对用户在产品上的产生的行为及行为背后的数据进行分析，通过本次分析希望可以实现：

• 1、通过构建用户行为模型和用户画像，来改变产品决策，实现精细化运营，指导业务增长。

2、 在产品运营过程中，对用户行为的数据进行收集、存储、跟踪、分析与应用等，可以找到实现用户自增长的存在的问题、群体特征与目标用户。

三、分析思路

==========

• 主要从以下四个维度对用户行为进行分析和建议：

• 1、用户的行为习惯分析：利用pv、uv等指标，分析用户活跃的时间段和趣事，熟悉用户行为的时间模式；

• 2、用户的行为转换情况分析：通过采用漏斗模型从单击浏览到支付购买的各个阶段对用户行为进行分析，确定各个环节的流失率，并提出相应的改善建议；

• 3、用户偏好分析：根据商品的点击、收藏、加购、购买频率，探索用户对商品的购买偏好，制定对不同商品、不同用户之间的营销策略；

• 4、核心用户分析：找出最具有价值的核心用户群，考虑针对该群体的营销策略，针对这个群体用户行为推送个性化推送，优惠券等。

四、数据清洗

---

• 首先该数据是在多个文件下的CSV文件，通过递归对文件夹内所有文件进行查询，并合并了所有的指定文件，具体的操作步骤大家可以看Python遍历目录下的所有文件、读取、千万条数据合并详解这篇文章，里边详细的写了如何遍历所有文件夹，如何组合，如何批量的打开文件目录下的所有文件，并对多文件下的文件进行合并，本文就不再赘述数据合并的过程了，直接采用合并后的数据，大家不懂可以看我的以上两盘博客，写的很详细。

• 1、读取查看数据的基本信息和数据的完整性

data=final_data

data.head()

查看一下我们合并后表格的情况，可以发现目前表格的列数为7列

•  ​

其中’Unnamed: 0’,‘user_geohash’（有缺失）两列数据我们在分析时不涉及，对这两列数据进行删除。

import pandas as pd

final_data.drop([‘Unnamed: 0’,‘user_geohash’],axis=1,inplace=True)

final_data.head()

 ​

成功进行删除，检查数据类型

data.dtypes

2、一致化处理：

• 可以发现目前time是object型的，因为分析涉及到时间、天、小时，所以，要把数据集里的时间戳列，即time_stamp列转化为日期。。

data[‘date’] = data[‘time’].map(lambda x:x.split(’ ')[0])

data[‘hour’] = data[‘time’].map(lambda x:x.split(’ ')[1])

data[‘date’]=pd.to_datetime(data[‘date’])

data[‘hour’] = data[‘hour’].astype(‘int32’)

data.head()

data.dtypes

• 

可以看到目前date和Hour的类型已经成功转换，符合我们的预期，查看表格中是否有空数据，并查看一下表格的量

• 3、查看是否有缺失值

data.isnull().sum()

data.shape

 ​ ​

可以看到数据中并没有空数据，数据的规模在1000万左右，分为6列，依次为用户id、商品id、用户行为类型、时间。其中用户行为类型中1代表点击（当做pv），2代表collect（收藏），3代表cart（加入购物车）数据较为完整，不需要继续进行清洗，对数据进行分析

五、数据分析

---

• 流量指标分析：流量指标是指用户在某一个网站操作的每一个步骤记录的指标，埋点数据，PV是指其浏览量，UV代表独立访客数，访问深度代表每个独立访客的浏览量，页面跳出率 则是指浏览某个页面离开的次数/这个页面的全部访问次数

1、不同时间下PV、UV的流量变化情况

---

1）每天的PV、UV变化情况

• 首先计算一下总流量

总PV值=数据条数

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import os

data.shape[0]

总流量为12256906，在计算一下日平均流量、日平均独立访客数

##日PV

pv_daily = data.groupby([‘date’])[‘user_id’].count().reset_index().rename(columns={‘user_id’:‘pv_daily’})

pv_daily.head()

• 日平均独立访客数与日平均流量的区别在于要进行去重

##日UV

uv_daily = data.groupby([‘date’])[‘user_id’].apply(lambda x:x.drop_duplicates().count()).reset_index().rename(columns={‘user_id’:‘uv_daily’})

uv_daily.head()

s=uv_daily[‘uv_daily’]

pv_daily[‘uv_daily’]=s

pv_daily

将两表合并

• 

plt.figure(figsize=(40,20),dpi=80)

font={

“family”:“kaiti”,

“size”:‘30’

}

plt.rc(“font”,**font)

plt.subplot(211)#在第一个位置日平均流量图

plt.plot(pv_daily[‘date’],pv_daily[‘pv_daily’],‘co-’)

plt.gca().xaxis.set_major_formatter(mdates.DateFormatter(‘%m/%d’))

plt.gca().xaxis.set_major_locator(mdates.DayLocator()) # 按月显示,按日显示的话，将MonthLocator()改成DayLocator()

plt.gcf().autofmt_xdate()

ax=plt.gca()

ax.spines[“top”].set_color(“w”)

ax.spines[“bottom”].set_color(“r”)

ax.spines[“left”].set_color(“r”)

ax.spines[“right”].set_color(“w”)

plt.gcf().autofmt_xdate()

#设置X轴标签

plt.xlabel(“时间”)

#设置y轴标签

plt.ylabel(“日平均流量统计图”)

plt.title(‘日平均流量’)

plt.figure(figsize=(40,20), dpi=80)

plt.subplot(212)#第二个位置绘制日平均独立访客数

plt.plot(pv_daily[‘date’],pv_daily[‘uv_daily’],‘yo-’)

plt.gca().xaxis.set_major_formatter(mdates.DateFormatter(‘%m/%d’))

plt.gca().xaxis.set_major_locator(mdates.DayLocator())

ax=plt.gca()

ax.spines[“top”].set_color(“w”)

ax.spines[“bottom”].set_color(“r”)

ax.spines[“left”].set_color(“r”)

ax.spines[“right”].set_color(“w”)

plt.title(‘日独立访问客流量’)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
[外链图片转存中…(img-48kg4k4E-1711793367237)]

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习