利用python分析电商_Python电商数据清洗及分析

一、数据来源

本文使用python来分析一份电商数据，源数据可在下方评论获取。

二、分析思路

image

三、分析过程

3.1 读取数据

首先导入后续分析需要的第三方库及一些常用设置

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

# 设置风格

sns.set(style='white', font_scale=1.2)

%matplotlib inline

plt.rcParams["font.sans-serif"] = "SimHei"

plt.rcParams['axes.titlesize'] = 20

plt.rcParams['axes.unicode_minus']=False

import warnings

warnings.filterwarnings("ignore")

通过pandas库读取数据

filename = "./电商数据源.csv"

data = pd.read_csv(filename,encoding="gbk")

data.head()

image

从读取结果可以看到数据源包含24个字段，每个字段的含义如下：

3.2 数据清洗

数据清洗阶段主要处理不符合业务逻辑的异常值，还有缺失值和重复值。

3.2.1 清洗发货日期早于下单日期的异常值

# 根据业务需要提取数据，发货日期早于下单日期

# 1)转换时间类型

data["OrderDate"] = pd.to_datetime(data["OrderDate"])

data["ShipDate"] = pd.to_datetime(data["ShipDate"])

# 2)计算时间差

data["interval"] = (data["ShipDate"]-data["OrderDate"]).dt.total_seconds()

# 3)找时间差为负的数据并删除

data.drop(index=data[data["interval"]<0].index,axis=0,inplace=True)

print(data.shape)

采用如下代码查看数据，建立对数据的基本认识

# 查看行列数量

data.shape

# 数据整体描述

data.describe()

# 数据信息

data.info()

# 统计NAN数据

data.isna().sum()

image

可以看到ShipMode(发货模式)和PostalCode(邮编)两列存在缺失值。

3.2.2 清洗RowID重复值

# 重复值

print(data["RowID"].unique().size)

data[data["RowID"].duplicated()]

data.drop(index=data[data["RowID"].duplicated()].index,axis=0,inplace=True)

print(data.shape)

3.2.3 处理ShipMode缺失值

data[data["ShipMode"].isnull()]

data["ShipMode"].unique()

# 众数填充缺失值

# data["ShipMode"].mode()

data["ShipMode"].fillna(data["ShipMode"].mode()[0],inplace=True)

3.2.4 清洗Discount的异常值和缺失值

data[data["Discount"]>1]

data[data["Discount"]<0]

data["Discount"] = data["Discount"].mask(data["Discount"]>1,None)

# 处理缺失值

data["Discount"].isna().sum()

# 平均折扣

meanDiscount = data["Discount"].mean()

# data[data["Discount"].notnull()]["Discount"].sum()/data[data["Discount"].notnull()]["Discount"].size

data["Discount"].fillna(meanDiscount,inplace=True)

3.2.5 删除PostalCode列

邮编对分析意义不大，这里直接删除

data.drop(columns=["PostalCode"],inplace=True)

3.2.6 将订单日期拆分为年、月、季度

data["Order-year"] = data["OrderDate"].dt.year

data["Order-month"] = data["OrderDate"].dt.month

data["quarter"] = data["OrderDate"].dt.to_period('Q')

data[["OrderDate","Order-year","Order-month","quarter"]].sample(5)

image

3.3 数据分析

3.3.1 销售额与增长率

sales_year = data.groupby(by='Order-year')['Sales'].sum()

# print(sales_year)

sales_rate_12 = sales_year[2012] / sales_year[2011] - 1

sales_rate_13 = sales_year[2013] / sales_year[2012] - 1

sales_rate_14 = sales_year[2014] / sales_year[2013] - 1

# print(sales_rate_12,sales_rate_13,sales_rate_14)

sales_rate_12_label = "%.2f%%" % (sales_rate_12 * 100)

sales_rate_13_label = "%.2f%%" % (sales_rate_13 * 100)

sales_rate_14_label = "%.2f%%" % (sales_rate_14 * 100)

# print(sales_rate_12,sales_rate_13,sales_rate_14)

sales_rate = pd.DataFrame(

{'sales_all':sales_year,

'sales_rate':[0,sales_rate_12,sales_rate_13,sales_rate_14],

'sales_rate_label':['0.00%',sales_rate_12_label,sales_rate_13_label,sales_rate_14_label]

})

# print(sales_rate)

sales_rate = pd.DataFrame(

{'sales_all':sales_year,

'sales_rate':[0,sales_rate_12,sales_rate_13,sales_rate_14]

})

y1 = sales_rate['sales_all']

y2 = sales_rate['sales_rate']

x = [str(value) for value in sales_rate.index.tolist()]

# 新建figure对象

fig=plt.figure(figsize=(10,6))

# 新建子图1

ax1=fig.add_subplot(1,1,1)

# ax2与ax1共享X轴

ax2 = ax1.twinx()

ax1.bar(x,y1,color = 'dodgerblue')

ax2.plot(x,y2,marker='o',color = 'r')

ax1.set_xlabel('年份')

ax1.set_ylabel('销售额')

ax2.set_ylabel('增长率')

ax1.set_title('销售额与增长率')

image

3.3.2 地区分析

sales_area = data.groupby(by="Market")["Sales"].sum()

# sales_area

pie_labels = sales_area.index.to_list()

f, ax = plt.subplots(figsize=(10,10))

pie_sales_area = plt.pie(sales_area,labels=pie_labels,autopct="%.1f%%",startangle=90)

plt.title('2011-2014年总销售额占比')

image

# 各地区每一年的销售额

sales_area = data.groupby(by=["Market","Order-year"])["Sales"].sum()

# 将多层索引设置为列，level这个参数的意思是要把哪些索引设置为列

sales_area = sales_area.reset_index(level=[0,1])

# pd.pivot_table(data=sales_area,values="Sales",index="Market",columns="Order-year",aggfunc="sum")

# 绘制柱形图

fig = plt.figure(figsize=(10,6))

sns.barplot(x="Market",y="Sales",hue="Order-year",data=sales_area,estimator=np.sum)

plt.title('2011-2014年不同地区销售额对比')

image

# 各地区不同产品的销售额

sales_area = data.groupby(by=["Market","Category"])["Sales"].sum()

# 将多层索引设置为列，level这个参数的意思是要把哪些索引设置为列

sales_area = sales_area.reset_index(level=[0,1])

# pd.pivot_table(data=sales_area,values="Sales",index="Market",columns="Order-year",aggfunc="sum")

# 绘制柱形图

fig = plt.figure(figsize=(10,6))

sns.barplot(x="Market",y="Sales",hue="Category",data=sales_area,estimator=np.sum)

plt.title('不同产品类型在不同地区的销售额对比')

image

3.3.3 销售淡旺季分析

sales_year_month = data.groupby(by=["Order-year","Order-month"])["Sales"].sum()

# 将多层索引设置为列，level这个参数的意思是要把哪些索引设置为列

sales_year_month = sales_year_month.reset_index(level=[0,1])

# 绘制折线图

fig = plt.figure(figsize=(10,6))

sns.lineplot(x="Order-month",y="Sales",hue="Order-year",data=sales_year_month,estimator=np.sum)

plt.title('2011-2014年不同月份销售额对比')

image

3.3.4 每月新增用户

data_customer = data.copy()

data_customer = data_customer.drop_duplicates(subset=["CustomerID"])

new_customer = data_customer.groupby(["Order-year","Order-month"]).size()

new_customer = new_customer.reset_index(level=[0,1])

new_customer.columns = ["Order-year","Order-month","count"]

new_customer = pd.pivot_table(data=new_customer,values="count",index="Order-month",columns="Order-year",fill_value=0)

new_customer

image

3.3.5 用户RFM模型

首先计算用户的R、F和M值，然后根据均值算法或评分制算法来对用户分类，均值算法就是直接与各自的平均值比较，高于平均值即为高，低于平均值即为低；评分制算法就是对R、F和M制定相应的打分规则，一般采用5分制，计算得到R、F和M相应的得分，最后与得分的平均值进行比较。

# 获取2014年数据

data_14 = data [data ['Order-year']==2014]

data_14 = data_14[['CustomerID','OrderDate','Sales']]

# print(data_14.shape)

customdf = data_14.copy()

customdf.set_index('CustomerID',drop=True,inplace=True)

customdf['orders'] = 1

customdf

rfmdf = customdf.pivot_table(index=['CustomerID'],

values=['OrderDate','orders','Sales'],

aggfunc={'OrderDate':'max',

'orders':'sum',

'Sales':'sum'})

rfmdf['R'] = (rfmdf["OrderDate"].max()-rfmdf["OrderDate"]).dt.days

rfmdf.rename(columns={'Sales':'M','orders':'F'},inplace=True)

rfmdf

1）均值算法

def rfm_func(x):

level = x.apply(lambda x: "1" if x >= 0 else '0')

label = level.R + level.F + level.M

d = {

'011':'重要价值客户',

'111':'重要唤回客户',

'001':'重要深耕客户',

'101':'重要挽留客户',

'010':'潜力客户',

'110':'一般维持客户',

'000':'新客户',

'100':'流失客户'

}

result = d[label]

return result

rfmdf['label'] = rfmdf[['R','F','M']].apply(lambda x:x-x.mean()).apply(rfm_func,axis=1)

rfmdf

result = rfmdf.groupby('label')["OrderDate"].count()

result = result.reset_index()

result.columns = ["label","count"]

result

# 绘制柱形图

fig = plt.figure(figsize=(10,6))

order = ['重要价值客户', '重要唤回客户', '重要深耕客户', '重要挽留客户', '潜力客户', '一般维持客户', '新客户', '流失客户']

sns.barplot(x="count",y="label",data=result,orient='h',order=order)

plt.title('RFM用户数')

image

2）RFM模型除了使用上面的均值算法，还可以使用评分制算法来实现，评分一般采用5分制，评分规则也要根据具体的业务情况来决定，这里我们采用五分位数来制定评分规则，python实现如下：

rfm_score_df = rfmdf[['R','F',"M"]]

# 修改describe区间范围，得到五分位数

rfm_score_df.describe(percentiles=[0.2,0.4,0.6,0.8])

image.png

计算R、F和M的评分

# 区间( ],所以第一个设置为最小值-1

section_list_R = [-1,9,24,43,103,362]

grade_R = pd.cut(rfm_score_df['R'],bins=section_list_R,labels=[5,4,3,2,1])

rfm_score_df['R_S'] = grade_R.values.astype(int)

# 区间( ],所以第一个设置为最小值-1

section_list_F = [0,4,7,13,19,48]

grade_F = pd.cut(rfm_score_df['F'],bins=section_list_F,labels=[1,2,3,4,5])

rfm_score_df['F_S'] = grade_F.values.astype(int)

# 区间( ],所以第一个设置为最小值-1

section_list_M = [0,365,1196,2855,4938,23296]

grade_M = pd.cut(rfm_score_df['M'],bins=section_list_M,labels=[1,2,3,4,5])

# 上一步的cut方法返回值是category类型，不能用户后续计算，这里要转为数值类型

rfm_score_df['M_S'] = grade_M.values.astype(int)

rfm_score_df

image.png

用户的R、F和M分值与平均分比较

def rfm_func(x):

level = x.apply(lambda x: "1" if x >= 0 else '0')

level

label = level.R_S + level.F_S + level.M_S

d = {

'111':'重要价值客户',

'011':'重要唤回客户',

'101':'重要深耕客户',

'001':'重要挽留客户',

'110':'潜力客户',

'010':'一般维持客户',

'100':'新客户',

'000':'流失客户'

}

result = d[label]

return result

rfm_score_df["label"] = rfm_score_df[["R_S","F_S","M_S"]].apply(lambda x:x-x.mean()).apply(rfm_func,axis=1)

rfm_score_df

image.png

result = rfm_score_df.groupby('label')["R"].count()

result = result.reset_index()

result.columns = ["label","count"]

result

# 绘制柱形图

fig = plt.figure(figsize=(10,6))

order = ['重要价值客户', '重要唤回客户', '重要深耕客户', '重要挽留客户', '潜力客户', '一般维持客户', '新客户', '流失客户']

sns.barplot(x="count",y="label",data=result,orient='h',order=order)

plt.title('RFM用户数')

image.png

从均值算法和评分制算法的结果可以看出，两种方法存在一定差异，具体使用哪种算法要根据实际业务情况决定。比如评分制算法中的R打分可以根据7日留存，30日留存，90日留存等来制定。