python数据分析

最新推荐文章于 2023-06-24 14:30:00 发布
最新推荐文章于 2023-06-24 14:30:00 发布
阅读量150 收藏 1
点赞数 1
分类专栏： 作品集 文章标签： python 数据分析 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64577019/article/details/131219166
版权

前言

点击获取数据源：数据源

通过用户对商品的行为类型，浏览、收藏、加购物车、购买的行为分析，找出用户在每个环节的转化率。

思维导图

数据说明

表为tianchi_fresh_comp_train_user_2w是用户在商品全集上的移动端行为数据，包含如下字段：

字段字段说明提取说明
user_id用户标识抽样&字段脱敏
item_id商品标识字段脱敏
behavior_type用户对商品的行为类型，浏览、收藏、加购物车、购买 ==> 1、2、3、4
user_geohash用户位置的空间标识，可以为空由经纬度通过保密的算法生成
item_category商品分类标识字段脱敏
time行为时间精确到小时级别

数据预览

在这里插入图片描述
在这里插入图片描述

# 加载库
import numpy as np
import pandas as pd
import pyecharts.options as opts
from pyecharts.charts import Line
from pyecharts.charts import Grid

了解数据

加载数据

data = pd.read_csv('文件路径')

查看数据结构

data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 15463110 entries, 0 to 15463109
Data columns (total 6 columns):
 #   Column         Dtype 
---  ------         ----- 
 0   user_id        int64 
 1   item_id        int64 
 2   behavior_type  int64 
 3   user_geohash   object
 4   item_category  int64 
 5   time           object
dtypes: int64(4), object(2)
memory usage: 707.8+ MB

data.head(5)
user_iditem_idbehavior_typeuser_geohashitem_categorytime
010001082285259775197lk14c40762014-12-08 18
11000108243689071NaN55032014-12-12 12
210001082536167684NaN97622014-12-02 15
31000108299478711NaN28252014-11-28 20
410001082150720867195qoghe32002014-12-15 08

统计缺失值

data.isnull().sum()

user_id                0
item_id                0
behavior_type          0
user_geohash     8207386
item_category          0
time                   0
dtype: int64

因为不做地理数据的分析user_geohash 这列的缺失值不做处理

处理数据

删除重复数据

data.drop_duplicates(keep='last',inplace=True)

将time转换为datetime格式

data["time"] = pd.to_datetime(data['time'])
data.head(3)
user_iditem_idbehavior_typeuser_geohashitem_categorytime
010001082285259775197lk14c40762014-12-08 18:00:00
11000108243689071NaN55032014-12-12 12:00:00
210001082536167684NaN97622014-12-02 15:00:00

提取出日期和时间

data['dates'] = data.time.dt.date
data['month'] = data.dates.values.astype('datetime64[M]')
data['hours'] = data.time.dt.hour
data.head(3)
user_iditem_idbehavior_typeuser_geohashitem_categorytimedatesmonthhours
010001082285259775197lk14c40762014-12-08 18:00:002014-12-082014-12-0118
11000108243689071NaN55032014-12-12 12:00:002014-12-122014-12-0112
210001082536167684NaN97622014-12-02 15:00:002014-12-022014-12-0115

转换数据类型

data['behavior_type']=data['behavior_type'].apply(str)
data['user_id']=data['user_id'].apply(str)
data['item_id']=data['item_id'].apply(str)
data.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 15463110 entries, 0 to 15463109
Data columns (total 9 columns):
 #   Column         Dtype         
---  ------         -----         
 0   user_id        object        
 1   item_id        object        
 2   behavior_type  object        
 3   user_geohash   object        
 4   item_category  int64         
 5   time           datetime64[ns]
 6   dates          object        
 7   month          datetime64[ns]
 8   hours          int64         
dtypes: datetime64[ns](2), int64(2), object(5)
memory usage: 1.2+ GB

数据可视化

统计每日PV和UV数据

pv_day = data[data.behavior_type=='1'].groupby("dates")["behavior_type"].count()
uv_day = data[data.behavior_type=='1'].drop_duplicates(['user_id','dates']).groupby('dates')['user_id'].count()

分析每天的pv与uv的趋势

# 做出每天的pv与uv趋势图
attr=list(pv_day.index)
pv=(
    Line(init_opts=opts.InitOpts(width="1000px",height="500px"))
    .add_xaxis(xaxis_data=attr)
    .add_yaxis(
        "pv",
        np.around(pv_day.values/10000,decimals=2),
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        series_name="uv",
        yaxis_index=1,
        y_axis=np.around(uv_day.values/10000,decimals=2),
        label_opts=opts.LabelOpts(is_show=False),
    )
    .extend_axis(
        yaxis=opts.AxisOpts(
            name="uv",
            type_="value",
            min_=0,
            max_=1.6,
            interval=0.4,
            axislabel_opts=opts.LabelOpts(formatter="{value} 万人"),
        )
    )
    .set_global_opts(
        tooltip_opts=opts.TooltipOpts(
            is_show=True,trigger="axis",axis_pointer_type="cross"
        ),
        xaxis_opts=opts.AxisOpts(
            type_="category",
            axispointer_opts=opts.AxisPointerOpts(is_show=True,type_="shadow"),
        ),
        yaxis_opts=opts.AxisOpts(
            name="pv",
            type_="value",
            min_=0,
            max_=100,
            interval=20,
            axislabel_opts=opts.LabelOpts(formatter="{value} 万次"),
            axistick_opts=opts.AxisTickOpts(is_show=True),
            splitline_opts=opts.SplitLineOpts(is_show=True),
        ),
        title_opts=opts.TitleOpts(title="pv与uv趋势图"),
    )
)

pv.render_notebook()

在这里插入图片描述

pv、uv差异分析（by day）

pv_uv = pd.concat([pv_day, uv_day], join='outer', axis=1)
pv_uv.columns = ['pv_day', 'uv_day']
new_day=pv_uv.diff()
new_day.columns=['new_pv','new_uv']

attr = new_day.index
v = new_day.new_uv
w = new_day.new_pv

li=(
    Line(init_opts=opts.InitOpts(width="1000px",height="500px"))
    .add_xaxis(xaxis_data=attr)
    .add_yaxis(
        "新增pv",
        w,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .extend_axis(
        yaxis=opts.AxisOpts(
            name="新增uv",
            type_="value",
            min_=-2000,
            max_=1600,
            interval=400,
            axislabel_opts=opts.LabelOpts(formatter="{value}"),
        )
    )
     .set_global_opts(
        tooltip_opts=opts.TooltipOpts(
            is_show=True, trigger="axis", axis_pointer_type="cross"
        ),
        xaxis_opts=opts.AxisOpts(
            type_="category",
            axispointer_opts=opts.AxisPointerOpts(is_show=True, type_="shadow"),
        ),
        yaxis_opts=opts.AxisOpts(
            name="新增pv",
            type_="value",
            min_=-350000,
            max_=250000,
            interval=100000,
            axislabel_opts=opts.LabelOpts(formatter="{value}"),
            axistick_opts=opts.AxisTickOpts(is_show=True),
            splitline_opts=opts.SplitLineOpts(is_show=True),
        ),
         title_opts=opts.TitleOpts(title="pv、uv差异分析"),
    )
)
il=(
    Line()
    .add_xaxis(xaxis_data=attr)
    .add_yaxis("新增uv",v,yaxis_index='1',label_opts=opts.LabelOpts(is_show=False),)
)
c=li.overlap(il)
c.render_notebook()

在这里插入图片描述

不同时期用户行为分析

shopping_cart = data[data.behavior_type == '3'].groupby('dates')['behavior_type'].count()
collect = data[data.behavior_type=='2'].groupby('dates')['behavior_type'].count()
buy = data[data.behavior_type=='4'].groupby('dates')['behavior_type'].count()

attr_a=list(shopping_cart.index)
v_1=shopping_cart.values.tolist()
v_2=collect.values.tolist()
v_3=buy.values.tolist()

b=(
    Line()
    .add_xaxis(xaxis_data=attr_a)
    .add_yaxis(
        "加购人数",
        v_1,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        "收藏人数",
        v_2,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        "购买人数",
        v_3,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="不同时期用户行为数据"))
)
b.render_notebook()

在这里插入图片描述

活动期间不同时段的用户行为分析

data['dates']=pd.to_datetime(data['dates'])
active = data[data["dates"].isin(["2014/12/11","2014/12/12","2014/12/13"])]
daily = data[~data["dates"].isin(["2014/12/11","2014/12/12","2014/12/13"])]

from pyecharts.charts import Bar
# 活动数据
cart_h= active[active.behavior_type == '3'].groupby('hours')['behavior_type'].count()
collect_h=active[active.behavior_type=='2'].groupby('hours')['behavior_type'].count()
buy_h=active[active.behavior_type=='4'].groupby('hours')['behavior_type'].count()
uv_h=active[active.behavior_type== '1'].groupby('hours')['user_id'].count()

attr_h=list(cart_h.index)
h1=np.around(cart_h.values/3,decimals=0).tolist()
h2=np.around(collect_h.values/3,decimals=0).tolist()
h3=np.around(buy_h.values/3,decimals=0).tolist()
h4=np.around(uv_h.values/3,decimals=0).tolist()


h=(
    Line(init_opts=opts.InitOpts(width="1000px",height="500px"))
    .add_xaxis(xaxis_data=attr_h)
    .add_yaxis(
        "加购人数",
        h1,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        "收藏人数",
        h2,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        "购买人数",
        h3,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .set_global_opts(
        xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=15)),
        title_opts=opts.TitleOpts(title="日均各时段活动用户行为",pos_top="48%"),
        legend_opts=opts.LegendOpts(pos_top="48%"),
    )
)
bar=(
    Bar()
    .add_xaxis(xaxis_data=attr_h)
    .add_yaxis(
    "浏览人数",
        h4,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title="活动pv对比数据"),
    )
)

ggrid = (
    Grid()
    .add(bar, grid_opts=opts.GridOpts(pos_bottom="60%"))
    .add(h, grid_opts=opts.GridOpts(pos_top="60%"))
)
ggrid.render_notebook()

在这里插入图片描述
​

from pyecharts.charts import Funnel

# 活动转化
a_pv=active[active.behavior_type=="1"]["user_id"].count()
a_cart=active[active.behavior_type=="3"]["user_id"].count()
a_collect=active[active.behavior_type=="2"]["user_id"].count()
a_buy=active[active.behavior_type=="4"]["user_id"].count()

a_attr=["点击","加入购物车","收藏","购买"]
values=[np.around((a_pv/a_pv*100),2),
        np.around((a_cart/a_pv*100),2),
        np.around((a_collect/a_pv*100),2),
        np.around((a_buy/a_pv*100),2),
       ]

data = [[a_attr[i], values[i]] for i in range(len(a_attr))]

a=(
    Funnel()
    .add(
        series_name="用户行为",
        data_pair=data,
        gap=2,
        tooltip_opts=opts.TooltipOpts(trigger="item", formatter="{a} <br/>{b} : {c}%",is_show=True),
        label_opts=opts.LabelOpts(is_show=True, position="ourside"),
        itemstyle_opts=opts.ItemStyleOpts(border_color="#fff", border_width=1),
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="用户转化漏斗", subtitle="活动"))
)

a.render_notebook()

在这里插入图片描述

日常期间不同时段的用户行为分析

# 日常数据
cart_d= daily[daily.behavior_type == '3'].groupby('hours')['behavior_type'].count()
collect_d=daily[daily.behavior_type=='2'].groupby('hours')['behavior_type'].count()
buy_d=daily[daily.behavior_type=='4'].groupby('hours')['behavior_type'].count()
uv_d=daily[daily.behavior_type== '1'].groupby('hours')['user_id'].count()

attr_d=list(cart_d.index)
d1=np.around(cart_d.values/28,decimals=0).tolist()
d2=np.around(collect_d.values/28,decimals=0).tolist()
d3=np.around(buy_d.values/28,decimals=0).tolist()
d4=np.around(uv_d.values/3,decimals=0).tolist()

d=(
    Line(init_opts=opts.InitOpts(width="1000px",height="500px"))
    .add_xaxis(xaxis_data=attr_d)
    .add_yaxis(
        "加购人数",
        d1,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        "收藏人数",
        d2,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .add_yaxis(
        "购买人数",
        d3,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .set_global_opts(
        xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=15)),
        title_opts=opts.TitleOpts(title="日均各时段活动用户行为",pos_top="48%"),
        legend_opts=opts.LegendOpts(pos_top="48%"),
    )
)
y=(
    Bar()
    .add_xaxis(xaxis_data=attr_d)
    .add_yaxis(
    "浏览人数",
        d4,
        label_opts=opts.LabelOpts(is_show=False)
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title="日常pv对比数据"),
    )
)

ggrid = (
    Grid()
    .add(y, grid_opts=opts.GridOpts(pos_bottom="60%"))
    .add(d, grid_opts=opts.GridOpts(pos_top="60%"))
)
ggrid.render_notebook()

在这里插入图片描述

# 日常转化
l_pv=daily[daily.behavior_type=="1"]["user_id"].count()
l_cart=daily[daily.behavior_type=="3"]["user_id"].count()
l_collect=daily[daily.behavior_type=="2"]["user_id"].count()
l_buy=daily[daily.behavior_type=="4"]["user_id"].count()

l_attr=["点击","加入购物车","收藏","购买"]
valuel=[np.around((l_pv/l_pv*100),2),
        np.around((l_cart/l_pv*100),2),
        np.around((l_collect/l_pv*100),2),
        np.around((l_buy/l_pv*100),2),
       ]

datal = [[l_attr[i], valuel[i]] for i in range(len(l_attr))]

dy=(
    Funnel()
    .add(
        series_name="用户行为",
        data_pair=datal,
        gap=2,
        tooltip_opts=opts.TooltipOpts(trigger="item", formatter="{a} <br/>{b} : {c}%",is_show=True),
        label_opts=opts.LabelOpts(is_show=True, position="ourside"),
        itemstyle_opts=opts.ItemStyleOpts(border_color="#fff", border_width=1),
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="用户转化漏斗", subtitle="日常"))
)
dy.render_notebook()

在这里插入图片描述

普通网络
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python数据分析
03-20
利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，利用Python进行数据分析PDF版本，
15个Python数据分析实用技巧（非常详细）零基础入门到精通，收藏这一篇就够了
最新发布
Hacker_doggy的博客
07-15 1397
练习技巧：选取一个实际数据集，从数据导入开始，逐步应用上述技巧，先做简单的数据清洗和描述性分析，然后尝试预测模型或可视化复杂关系。使用技巧：在处理大数据时，考虑使用Dask或Vaex代替Pandas，以提高效率。注意事项：数据隐私和安全永远是首位的，确保在合法合规的范围内处理数据。通过这些实战策略和技巧的运用，你的数据分析能力将得到显著提升。
Python数据分析与挖掘实战.zip_Python 数据挖掘_python_python 案例_python数据分析_挖掘实战
07-14
Python的数据分析和挖掘的案例，非常不错
Python数据分析 PPT课件
06-27
利用python进行数据分析第二版pdf
python数据分析实例 python数据分析实例（源码）
05-19
python数据分析实例 python数据分析实例（源码） # python数据分析 #### 介绍 python数据可视化例子 ##### 1.SARIMAX模型对公路车流量预测 ##### 2.古诗词云统计 ##### 3.对大数据岗位可视化分析
python数据分析与应用 考试题 含答案
05-20
学习完毕 python数据分析与应用 这门课后结课考试 内容涵盖 数据分析概念 numpy pandas 数据预处理 分组与聚合 数据可视化 考试题 包含 10道选择 10道填空 10道判断 2道简答 2道程序 共100分 含答案
python数据分析 - 数据预处理
qq_42786453的博客
08-06 373
总结一下近期了解到的数据分析预处理的方法。 1、均值移除   统一样本矩阵中不同特征的基准值和分散度，将各个特征的平均值调整为0，标准差调整为1。   例如某矩阵的一列值分别是a，b，c，m表示均值，s表示标准差，均值移除后的对应数据是 (a-m)/s，(b-m)/s，(c-m)/s。   使用情况：某样本有些特征的数值比较大，而有的特征的数值比较小，在分析时大的数值可能会覆盖小的数值，就...
Python数据分析1
04-25
Python数据分析第一课。包括： o 安装Python与环境配置 o Anaconda安装和使用 o 常用数据分析库 Numpy、Scipy、Pandas和 matplotlib安装和简介 o 常用高级数据分析库nltk、igraph和scikit-learn介绍 o Python2和Python3区别简介
数据分析-python
MY博客
04-22 998
import numpy as np import pandas as pd df = pd.read_csv("D:/pythonproject/train.csv"); label = df['TARGET'] df = df.drop(['ID','TARGET'],axis=1) missSet=[np.nan,9999999999,-999999] #取出第...
利用Python进行数据分析
weixin_44814690的博客
08-31 486
利用Python进行数据分析-第一章第一章 准备工作重要的Python库Anoconda安装使用 第一章 准备工作 书籍的数据代码相关资料：https://github.com/wesm/pydata-book 重要的Python库 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： numpy ：Python数值计算的基础。提供了多种数据结构、算法以及大部分涉及Python数值计算所需的接口。如常用的多维度数组对象
基于Python的数据分析
程序员小芽的博客
06-24 187
下面来介绍一下基于Python的数据分析，主要介绍数据分析的概念、数据分析流程、Python优点、经常使用模块的用途以及使用 Python进行数据分析的学习方法及步骤；python
如何用Python进行数据分析
静幽水
06-04 1078
数据分析是当前非常热门的领域之一，而Python作为一门广泛应用于数据科学和机器学习的语言，自然成为了一款非常流行的数据分析工具。本篇博客将为大家介绍如何用Python进行数据分析，并且会结合我们自己的实践来进行详细的讲解。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值