DataFrame基础操作巩固——项目需求

不会统计的大河马

已于 2022-08-08 21:26:33 修改

阅读量366

点赞数 2

分类专栏： numpy pandas matplotlib 文章标签：大数据

于 2022-08-08 21:01:28 首次发布

本文链接：https://blog.csdn.net/qq_47250064/article/details/126214295

版权

数据清洗时间类型消费分析用户行为 RFM模型

关键词由CSDN通过智能技术生成

pandas 同时被 3 个专栏收录

10 篇文章 1 订阅

订阅专栏

numpy

9 篇文章 0 订阅

订阅专栏

matplotlib

4 篇文章 0 订阅

订阅专栏

第一部分:数据类型处理

数据加载
字段含义:
- user_id:用户ID
- order_dt:购买日期
- order_product:购买产品的数量
- order_amount:购买金额
观察数据
查看数据的数据类型
数据中是否存储在缺失值.
将order_dt转换成时间类型
查看数据的统计描述
- 计算所有用户购买商品的平均数量。
- 计算所有用户购买商品的平均花费。

1.1 数据加载

pandas中，可以通过指定参数sep来更换默认分隔符“，”，使用read_CSV（）命令时，通过sep=‘参数’来指定文件中的分隔符。
sep=‘\s+‘ 这是正则表达式，通过一定规则的表达式来匹配字符串用的

\s 表示空白字符，包括但不限于空格、回车(\r)、换行(\n)、tab或者叫水平制表符(\t)等，这个根据编码格式不同代表的含义也不一样，感兴趣可以搜索看一下

+ 是重复修饰符，表示它前面与它紧邻的表达式格式相匹配的字符串至少出现一个，上不封顶

\s+ 意思就是至少有一个空白字符存在

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
import matplotlib.pyplot as plt
##数据的加载
df = pd.read_csv("C:\\Users\\zoutong\\Desktop\\programming\\case\\CDNOW_master .txt",header=None,sep="\s+",names=["user_id","order_dt","order_product","order_amount"])
df

1.2 观察数据

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 69659 entries, 0 to 69658
Data columns (total 4 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   user_id        69659 non-null  int64  
 1   order_dt       69659 non-null  int64  
 2   order_product  69659 non-null  int64  
 3   order_amount   69659 non-null  float64
dtypes: float64(1), int64(3)
memory usage: 2.1 MB

发现没有空缺值

1.3 将order_dt转换成时间类型

format="%Y%m%d"说明时间格式用“-”分开年月日。

#将order_dt转换成时间类型
df["order_dt"]=pd.to_datetime(df["order_dt"],format="%Y%m%d")

0 1997-01-01 1 1997-01-12 2 1997-01-12 3 1997-01-02 4 1997-03-30 ... 69654 1997-04-05 69655 1997-04-22 69656 1997-03-25 69657 1997-03-25 69658 1997-03-26 Name: order_dt, Length: 69659, dtype: datetime64[ns]

1.4 查看数据的统计描述

df.describe()

astype()函数对数据类型进行转换,但是没有inplace=True这一项
datetime64[M] 、datetime64[D]数据类型是月份和天

#基于order_dt取出其中的月份
df["order_dt"].astype("datetime64[M]")
#在源数据添加一列表示月份：astype["datetime64[M]"]
df["month"]=df["order_dt"].astype("datetime64[M]")
df.head()

第二部分:按月数据分析

用户每月花费的总金额
绘制曲线图展示
所有用户每月的产品购买量
所有用户每月的消费总次数
统计每月的消费人数

2.1 用户每月花费的总金额

#用户每月花费的总金额
df.groupby(by="month")["order_amount"].sum()

month
1997-01-01    299060.17
1997-02-01    379590.03
1997-03-01    393155.27
1997-04-01    142824.49
1997-05-01    107933.30
1997-06-01    108395.87
1997-07-01    122078.88
1997-08-01     88367.69
1997-09-01     81948.80
1997-10-01     89780.77
1997-11-01    115448.64
1997-12-01     95577.35
1998-01-01     76756.78
1998-02-01     77096.96
1998-03-01    108970.15
1998-04-01     66231.52
1998-05-01     70989.66
1998-06-01     76109.30
Name: order_amount, dtype: float64

2.2绘制曲线图展示(两种方式）

df.groupby(by="month")["order_amount"].sum().plot()
plt.plot(df.groupby(by="month")["order_amount"].sum())

2.3所有用户每月的消费总次数

##所有用户每月的产品购买量（原始数据中每一行数据表示一次消费记录）
df.groupby(by="month")["user_id"].count()

month
1997-01-01     8928
1997-02-01    11272
1997-03-01    11598
1997-04-01     3781
1997-05-01     2895
1997-06-01     3054
1997-07-01     2942
1997-08-01     2320
1997-09-01     2296
1997-10-01     2562
1997-11-01     2750
1997-12-01     2504
1998-01-01     2032
1998-02-01     2026
1998-03-01     2793
1998-04-01     1878
1998-05-01     1985
1998-06-01     2043
Name: user_id, dtype: int64

2.4统计每月的消费人数

nuinque()是查看该序列(axis=0/1对应着列或行)的不同值的数量。用这个函数可以查看数据有多少个不同值。
unique是去重，nunique是去重之后统计数量

#统计每月的消费人数（可能同一天一个人会消费多次）
df.groupby(by="month")["user_id"].nunique()#nunique表示统计去重之后的个数

month
1997-01-01    7846
1997-02-01    9633
1997-03-01    9524
1997-04-01    2822
1997-05-01    2214
1997-06-01    2339
1997-07-01    2180
1997-08-01    1772
1997-09-01    1739
1997-10-01    1839
1997-11-01    2028
1997-12-01    1864
1998-01-01    1537
1998-02-01    1551
1998-03-01    2060
1998-04-01    1437
1998-05-01    1488
1998-06-01    1506
Name: user_id, dtype: int64

第三部分:用户个体消费数据分析

用户消费总金额和消费总次数的统计描述
用户消费金额和消费产品数量的散点图
各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

3.1用户消费总金额和消费总次数的统计描述

#用户消费总金额和消费次数的统计描述
df.groupby(by="user_id")["order_amount"].sum()#每个用户消费的总金额

user_id
1         1
2         2
3         6
4         4
5        11
         ..
23566     1
23567     1
23568     3
23569     1
23570     2
Name: order_dt, Length: 23570, dtype: int64

#每个用户消费的总次数（用户出现一次就相当于消费一次）
df.groupby(by="user_id").count()["order_dt"]

user_id
1         1
2         2
3         6
4         4
5        11
         ..
23566     1
23567     1
23568     3
23569     1
23570     2
Name: order_dt, Length: 23570, dtype: int64

3.2用户消费金额和消费产品数量的散点图(plt.scatter)

#用户消费金额和消费产品数量的散点图
user_amount_sum=df.groupby(by="user_id")["order_amount"].sum()
user_product_sum=df.groupby(by="user_id")["order_product"].sum()
plt.scatter(user_product_sum,user_amount_sum)

大部分用户消费数量在200内，消费金额在4000内比较多。

3.3各个用户消费总金额的直方分布图(消费金额在1000之内的分布)

query()指定范围提取数据
hist()直方图

#各个用户消费总金额的直方分布图（消费金额在1000之内的分布）
df.groupby(by="user_id").sum().query("order_amount<=1000")["order_amount"].hist()

绝大部分用户消费金额在100内

3.4各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

#各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布）
df.groupby(by="user_id").sum().query("order_product<=100")["order_product"].hist()

部分用户消费产品数量大部分在10以内

第四部分:用户消费行为分析

用户第一次消费的月份分布，和人数统计
绘制线形图
用户最后一次消费的时间分布，和人数统计
绘制线形图
新老客户的占比
消费一次为新用户
消费多次为老用户
- 分析出每一个用户的第一个消费和最后一次消费的时间
- agg(['func1 ' ,'func2')):对分组后的结果进行指定聚合。
- 分析出新老客户的消费比例
用户分层
分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
RFM模型设计
- R表示客户最近一次交易时间的间隔。
- /np.timedelta64(1,'D'):去除days
- F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
- M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
- 将R，F，M作用到rfm表中

根据价值分层，将用户分为︰
- 重要价值客户
- 重要保持客户
- 重要挽留客户

4.1用户第一次消费的月份分布，和人数统计

#用户第一次消费的月份分布和人数统计
#第一次消费的月份：每一个用户消费月份的最小值就是该用户第一次消费的月份
df.groupby(by="user_id")["month"].min()
df.groupby(by="user_id")["month"].min().value_counts()#人数统计

user_id
1       1997-01-01
2       1997-01-01
3       1997-01-01
4       1997-01-01
5       1997-01-01
           ...    
23566   1997-03-01
23567   1997-03-01
23568   1997-03-01
23569   1997-03-01
23570   1997-03-01
Name: month, Length: 23570, dtype: datetime64[ns]

4.1.1绘制线形图

df.groupby(by="user_id")["month"].min().value_counts().plot()

4.2用户最后一次消费的时间分布，和人数统计

#用户最后一次消费的时间分布，和人数统计
df.groupby(by="user_id")["month"].max()
df.groupby(by="user_id")["month"].max().value_counts()

4.2.1绘制线形

df.groupby(by="user_id")["month"].max().value_counts().plot()

4.3新老客户的占比

python中的agg函数通常用于调用groupby（）函数之后，对数据做一些聚合操作，包括sum，min,max以及其他一些聚合函数
agg对分组的结果进行多种指定的聚合

#新老用户的占比
#消费一次为新用户，消费多次为老用户
#如何获知用户是否为第一次消费？可以根据用户消费时间进行判定？
    #如果用户的第一次消费时间和最后一次消费时间一样，则该用户只消费了一次为新用户，否则为老客户。
new_old_user_df=df.groupby(by="user_id")["order_dt"].agg([min,max])#agg对分组的结果进行多种指定的聚合
new_old_user_df["min"]==new_old_user_df["max"]#True表示新用户，False表示老用户
##统计True和False的个数
(new_old_user_df["min"]==new_old_user_df["max"]).value_counts()

True     12054
False    11516
dtype: int64

4.4用户分层

pivot_table函数的使用演示

注释：index指定什么元素作为index显示，columns指定列，values指定统计的值。一般values都为int后者float类型的值。aggfunc为聚合函数可以指定（mean,sum,Min,Max等统计运算等函数，如果不指定默认为mean均值）

#用户分层：分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
rfm=df.pivot_table(index="user_id",aggfunc={"order_product":"sum","order_amount":"sum","order_dt":"max"})
rfm

最近一次交易时间间隔：今天日期-每个用户交易时间的最大值//天数
np.timedelta64(1,"D")为对计算差值进行天数（days）和秒数(seconds)的提取

#R表示客户最近一次交易时间的间隔。
#F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
#M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
max_dt=df["order_dt"].max()#今天的日期-每个用户最后一次交易时间<=0
-(df.groupby(by="user_id")["order_dt"].max()-max_dt)
rfm["R"]=-(df.groupby(by="user_id")["order_dt"].max()-max_dt)//np.timedelta64(1,"D")

df.columns返回给定属性的列标签

rfm.columns=["M","F","R"]
rfm.head()##M、F越大越好，R越小越好

匿名函数lambda

在Python中，我们使用lambda关键字来声明一个匿名函数，这就是为什么我们将它们称为“lambda函数”。匿名函数是指没有声明函数名称的函数。尽管它们在语法上看起来不同，lambda函数的行为方式与使用def关键字声明的一般函数相同。

def rfm_func(x):
     #存储存储的是三个字符串形式的0或者1
    level = x.map(lambda x :"1" if x >= 0 else "0")
    label = level.R + level.F + level.M
    d= {
          "111":"重要价值客户",
          "011":"重要保持客户",
          "101":"重要挽留客户",
          "001":"重要发展客户",
          "110":"一般价值客户",
          "010":"一般保持客户",
          "100":"一般挽留客户",
          "000":"一般发展客户"
      }
    result = d[label]
    return result
#df.apply(func):可以对df中的行或者列进行某种(func)形式的运算
rfm["labels"]=rfm.apply(lambda x: x-x.mean()).apply(rfm_func,axis=1)
rfm.head()

总结：先看看是对dataframe还是series进行操作，如果是dataframe则选择用apply,格式是dataframe.apply(lambda x:f(x),axis=1) #f(x)可以是def自定义的函数也可以直接式函数，axis=1是行循环，表示此时的X是代表dataframe的一行。如果是series可以选择apply也可以选择map，格式都是series.appply(lambda x:f(x))或者series.map(lambda x:f(x)).

第五部分:用户的生命周期。

将用户划分为活跃用户和其他用户

统计每个用户每个月的消费次数
统计每个用户每个月是否消费,消费记录为1否则记录为0
知识点:DataFrame的apply和applymap的区别
- applymap:返回df
- 将函数做用于DataFrame中的所有元素(elements)
- apply:返回Series
- apply()将一个函数作用于DataFrame中的每个行或者列
将用户按照每一个月份分成:
- unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户)
- unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
- new:当前月就进行首次购买的用户在当前月为新用户
- active:连续月份购买的用户在这些月中为活跃用户
- return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

5.1统计每个用户每个月的消费次数

透视表df.pivot_table里面fill_value=0表示把空值变成0

#统计每个用户每个月的消费次数
user_month_count_df=df.pivot_table(index="user_id",values="order_dt",aggfunc="count",columns="month",fill_value=0)
user_month_count_df.head()

5.2统计每个用户每个月是否消费,消费记录为1否则记录为0

#统计每个用户每个月是否消费，消费记录为1否则记录为0
df_purchase=user_month_count_df.applymap(lambda x : 1 if x >=1 else 0)
df_purchase

对于尾部数据，user_id2W+的数据是有问题的，因为从实际的业务场景上说，他们一月和二月都没有注册三月份才是他们第一次消费。透视会把他们一月和二月的数据补上为0，这里面需要进行判断将第一次消费作为生命周期的起始，不能从一月份开始就粗略的计算

5.3将用户分类

04-用户分层：用户生命周期状态变化
#此处代码有些许问题
def active_status(data):
    status = []
    for i in range(18):
        
        #若本月没有消费
        if data[i] == 0:
            if len(status) > 0:
                if status[i-1] == 'unreg':
                    status.append('unreg')
                else:
                    status.append('unactive')
            else:
                status.append('unreg')
                    
        #若本月消费
        else:
            if len(status) == 0:
                status.append('new')
            else:
                if status[i-1] == 'unactive':
                    status.append('return')
                elif status[i-1] == 'unreg':
                    status.append('new')
                else:
                    status.append('active')
    return status

pivoted_status = df_purchase.apply( active_status,axis = 1)
pivoted_status.head()

复习
astype()	astype()函数对于数据类型进行转换
datetime64[M]	把数据类型改成月份
nunique()	去重之后统计个数
lambda x : 1 if x >=1 else 0	匿名函数
df.pivot_table()	透视表
mapapply()	对df里面每一个元素进行处理
apply（）	对df里面每一行或者每一列进行处理，返回series