电商数据分析笔记

最新推荐文章于 2023-03-22 09:30:59 发布
最新推荐文章于 2023-03-22 09:30:59 发布
阅读量1.9k 收藏 12
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44714634/article/details/111179049
版权

电商数据分析

本笔记宗旨在于多维度分析英国某电商平台的销售数据，了解平台的日常业务状况，辅助业务运营及业务策划提出相关建议。此数据列出了一年内（2010/12/01~2011/12/09）约4000名客户的购买内容。

数据来源：https://www.kaggle.com/carrie1/ecommerce-data

1.准备数据

1.1读取数据

首先加载数据并查看了数据结构以及字段类型。

导包

import warnings
warnings.filterwarnings('ignore') # 有时代码正常运行，但弹出警告。可用警告过滤器进行控制。
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import os
#import seaborn as sns
from pylab import mpl
# 设置中文字体
mpl.rcParams["font.sans-serif"] = ["SimHei"]
mpl.rcParams["axes.unicode_minus"] = False
import plotly.graph_objs as go
from plotly.offline import iplot
from matplotlib import font_manager as fm
from  matplotlib import cm

导入数据

os.getcwd() # 查看当前工作目录
os.chdir('C:/Users/Desktop/电商数据') # 修改当前工作目录
df = pd.read_csv('data.csv',encoding='ISO-8859-1',dtype={
   'CustomerID':str}) # ISO-8859-1 单字节编码，表示字符系列0-255.

查看数据结构

print("数据结构：",df.shape)

数据结构： (541909, 8)

查看字段结构

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 541909 entries, 0 to 541908
Data columns (total 8 columns):
 #   Column       Non-Null Count   Dtype  
---  ------       --------------   -----  
 0   InvoiceNo    541909 non-null  object 
 1   StockCode    541909 non-null  object 
 2   Description  540455 non-null  object 
 3   Quantity     541909 non-null  int64  
 4   InvoiceDate  541909 non-null  object 
 5   UnitPrice    541909 non-null  float64
 6   CustomerID   406829 non-null  object 
 7   Country      541909 non-null  object 
dtypes: float64(1), int64(1), object(6)
memory usage: 33.1+ MB

查看前5行数据

df.head()
InvoiceNo StockCode Description Quantity InvoiceDate UnitPrice CustomerID Country
0 536365 85123A WHITE HANGING HEART T-LIGHT HOLDER 6 12/1/2010 8:26 2.55 17850 United Kingdom
1 536365 71053 WHITE METAL LANTERN 6 12/1/2010 8:26 3.39 17850 United Kingdom
2 536365 84406B CREAM CUPID HEARTS COAT HANGER 8 12/1/2010 8:26 2.75 17850 United Kingdom
3 536365 84029G KNITTED UNION FLAG HOT WATER BOTTLE 6 12/1/2010 8:26 3.39 17850 United Kingdom
4 536365 84029E RED WOOLLY HOTTIE WHITE HEART. 6 12/1/2010 8:26 3.39 17850 United Kingdom

数据大小：541909行数据，8个字段。

字段说明：

  1. InvoiceNo :订单编号。一般为6位数，C开头表示退货订单。
  2. StockCode ：产品代码。一般由5位整数组成。
  3. Description： 产品描述。
  4. Quantity ：下单数量。
  5. InvoiceDate：下单时间。
  6. UnitPrice：产品单价（单位：英镑）。
  7. CustomerID：客户编号。
  8. Country：客户所在国家或地区。

1.2数据清洗

清洗数据，包括对缺失值，异常值以及重复值的处理。

  • 缺失值处理

查看每个字段中空值所占比。

df.apply(lambda x: sum(x.isnull())/len(x),axis=0)

InvoiceNo      0.000000
StockCode      0.000000
Description    0.002683
Quantity       0.000000
InvoiceDate    0.000000
UnitPrice      0.000000
CustomerID     0.249267
Country        0.000000
dtype: float64

两个字段含有空值,分别为"CustomerID"和"Description"。将俩字段的空值用"NULL"字符串替换。

df['CustomerID'].fillna("NULL",inplace=True)
df['Description'].fillna("NULL",inplace=True)
  • 异常值处理

1.时间异常值检查

df['InvoiceDate'] = pd.to_datetime(df['InvoiceDate'])
print('min:{},max:{}'.format(df['InvoiceDate'].min(),df['InvoiceDate'].max()))

min:2010-12-01 08:26:00,max:2011-12-09 12:50:00

时间字段均在在2010年12月到2011年12月之间，故无异常值。

2.下单数量与产品单价异常值检查

查看"Quantity"字段是否有小于等于0的数据。

print('等于0:{} , 小于0:{}'.format(df['Quantity'].loc[df['Quantity']==0].count(),df['Quantity'].loc[df['Quantity']<0].count()))

等于0:0 , 小于0:10624

没有下单数量为0的数据，下单数量小于0的数据有10624条。在这里下单数量为负的订单，视为退货订单。

查看"UnitPrice"字段是否有小于等于0的数据。

print('等于0:{} , 小于0:{}'.format(df['UnitPrice'].loc[df['UnitPrice']==0].count(),df['UnitPrice'].loc[df['UnitPrice']<0].count()))

等于0:2515 , 小于0:2

产品单价小于0的数据有2条，等于0的数据有2515条。产品单价小于0视为异常值予以删除处理，产品单价为0视为赠品。

df.drop(df[df['UnitPrice']<0].index,inplace=True)

3.产品编号异常值检查

产品编号一般为5位整数或5位整数加一个字符构成。

unique_stock = df.drop_duplicates(['StockCode'])
normal_stock = unique_stock[unique_stock['StockCode'].str.contains('^[0-9]{5}[a-zA-Z]*',regex=True)]['StockCode'].unique()
unique_stock_list = unique_stock['StockCode'].unique().tolist()
normal_stock_list = normal_stock.tolist()
special_codes = []
for x in unique_stock_list:
    if x not in normal_stock_list:
        special_codes.append(x)

print('总产品编号：{}种，正常产品编号:{}种，特殊产品编号:{}种'.format(len(unique_stock_list),len(normal_stock_list),len(special_codes)))


总产品编号：4070种，正常产品编号:4037种，特殊产品编号:33种

可见本数据涉及产品编号共有4070种，其中4037种符合规范，33种为特殊编号。具体查看特殊编号。

print(special_codes)

['POST', 'D', 'C2', 'DOT', 'M', 'BANK CHARGES', 'S', 'AMAZONFEE', 'DCGS0076', 'DCGS0003', 'gift_0001_40', 'DCGS0070', 'm', 'gift_0001_50', 'gift_0001_30', 'gift_0001_20', 'DCGS0055', 'DCGS0072', 'DCGS0074', 'DCGS0069', 'DCGS0057', 'DCGSSBOY', 'DCGSSGIRL', 'gift_0001_10', 'PADS', 'DCGS0004', 'DCGS0073', 'DCGS0071', 'DCGS0068', 'DCGS0067', 'DCGS0066P', 'B', 'CRUK']

查看特殊产品编号所对应的产品描述信息。

for code in special_codes:
    print('{} -> {}'.format(code,unique_stock[unique_stock['StockCode']==code]['Description'].values))
产品编号 产品描述
POST，C2，DOT 邮费
D 折扣
M，m 说明书
BANK CHARGES 银行收费
S 样品
AMAZONFEE 亚马逊收费
PADS 护垫类商品
gift_… 礼品券
DCGS0069,DCGSSBOY,DCG… 宠物项圈，男士包，可推测其他产品编号对应的也是某商品。
B 坏账调整
CRUK 向英国癌症研究所（CRUK）支付部分销售额的举措。（推测）

除了描述某具体产品的产品编号“DCG…”，“PADS”，以及折扣字段“D”以外其他类别不直接影响销售。因此可删除这些内容。

import re
for code in special_codes:
    temp =re.match(r'^DCG(.*)',code)
    if not temp and code!='PADS' and code!='D':
        df.drop(df[df['StockCode']==code].index,inplace=True)
df.shape

(539040, 8)
  • 去重

删除重复数据。

df.drop_duplicates(inplace=True)
df.shape

(533778, 8)

1.3了解字段

  • 统计字段唯一值
df[['InvoiceNo','StockCode','CustomerID','Country']].nunique()

InvoiceNo     25361
StockCode      4055
CustomerID     4364
Country          38
dtype: int64

可知此数据涉及25361份订单，4055种产品，4363（除去客户编号为NULL的数据）名客户以及他们分布在38个不同国家。

  • 增加订单总额字段
df['TotalPrice'] =df['Quantity']*df['UnitPrice']
  • 增加时间字段
df['Date'] = df['InvoiceDate'].astype("str").str[0:10]
df['Year'] = [x.split('-')[0] for x in df['Date']]
df['Month'] = [x.split('-')[1] for x in df['Date']] 
df['Hour'] = df['InvoiceDate'].astype("str").str[11:13]
df.drop("Date",axis=1,inplace=True)
  • 增加订单状态字段

订单状态分为四种：销售订单，退货订单，赠品，退赠品。

def test(quantity,unitprice):
    if quantity>0 and unitprice>0:
        return "sales"
    elif quantity<0 and unitprice>0:
        return "returns"
    elif quantity>0 and unitprice==0:
        return "gift_sales"
    else:
        return "gift_returns"
    
df['State'] = df.apply(lambda row : test(row['Quantity'],row['UnitPrice']),axis=1)

2.时间维度分析

此阶段从销售金额和销售数量两个角度分析平台每月的销售情况。其次查看每月以及每天不同时间段需要处理的订单数据数量，了解平台的繁忙程度，有助于安排人力。

2.1月销售情况

构造销售数据和退货数据

data_sales = df[df['State']=='sales']
data_returns = df[df['State']=='returns']
  • 月销售金额
total_price_sales = pd.pivot_table(data_sales,index='Year',columns='Month',values='TotalPrice',aggfunc={
   'TotalPrice':np.sum})
total_price_sales.sort_index(axis=1,inplace=True)
total_price_sales
Month 01 02 03 04 05 06 07 08 09 10 11 12
Year
2010 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 775638.36
2011 670380.24 507799.87 689833.51 515377.991 739953.0 737558.98 688219.341 724216.5 1028320.381 1103314.25 1452115.98 614490.92
  • 月退款金额
total_price_returns = pd.pivot_table(data_returns,index='Year',columns='Month',values='TotalPrice',aggfunc={
   'TotalPrice':np.sum})
total_price_returns.sort_index(axis=1,inplace=True)
total_price_returns
Month 01 02 03 04 05 06 07 08 09 10 11 12
Year
2010 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN -18241.84
2011 -91548.02 -8620.51 -10728.51 -35315.68 -9042.65 -14026.32 -11571.29 -23939.61 -17307.51 -41669.11 -25466.29 -174120.04
  • 月销售收入 = 月销售金额 - 月退款金额 （退款金额本身为负，因此实际操作时用了加号。）
total_price = total_price_sales + total_price_returns
total_price
Month 01 02 03 04 05 06 07 08 09 10 11 12
Year
2010 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 757396.52
2011 578832.
最低0.47元/天 解锁文章
KuroSiroMurasaki
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
电商平台在售笔记本产品信息分析数据
10-19
电商平台在售笔记本产品信息分析数据
SQL-DAY 9（SQL应用案例：电商用户、商品、平台价值分析）
Fan20190515的博客
12-16 1196
文章目录1.项目背景1.1 分析流程 1.项目背景    随着电商⾏业近⼏年的迅猛发展，电⼦商务从早些年的粗放式经营，逐步转化为精细化运营。随着平台数据量的不断积累，通过数据分析挖掘消费者的潜在需求，消费偏好成为平台运营过程中的重要环节。本项⽬基于某电商平台⽤户⾏为数据，在MySQL关系型数据库，探索⽤户⾏为规律，寻找⾼价值⽤户；分析商品特征，寻找⾼贡献商品；分析产品功能，优化产品路径。 1.1 分析流程 ...
量化选股策略搭建(三)(回测系统)
热门推荐
qq_31611005的博客
01-04 1万+
前两篇文章讲了数据的下载及更新，今天这篇文章讲回测系统的搭建。 回测系统 首先, 个人理解的回测系统就是输入每日可买入的股票（这些股票是经过模型筛选得到的），然后回测系统根据一些条件买入卖出等操作。 account类声明: 首先我们需要声明一个account类，记录账户的一些信息。具体需要记录的信息如下：（后期可能还会再加一些信息），信息初始化代码如下： class Account: ...
干货之如何利用Python程序赚钱
xiangxueerfei的博客
10-22 462
不知道大家玩过CSGO这款游戏没有（其实我没有玩过），俗话说有游戏的地方就有江湖，有江湖的地方就有买卖。在这些买卖当中其中一种是：游戏物品商人，手动倒买倒卖游戏物品，从而赚取差价收入。交易平台：1、国内比较大的CSGO饰品交易平台有C5GAME和IGXE(声明绝对不是打广告)2、国外肯定是官方的Steam以及亲儿子opskins了1、同一件商品，国内国外价格有差异，一般国内平台比国外便宜。
数据分析毕业设计 大数据京东消费行为分析与可视化 - python 机器学习
最新发布
kooerr的博客
03-22 1264
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩🥇学长这里给一个题目综合评分(每项满分5分)
聚宽源码35
程序化小学生的博客
12-11 936
原文策略源码如下： #多因子选股改进型 from kuanke.wizard import * from jqdata import * import numpy as np import pandas as pd import talib import datetime 初始化函数，设定要操作的股票、基准等等 def initialize(context): # 设定基准 set_benchma...
第二代微服务电商项目实战笔记
04-07
【第二代微服务电商项目实战笔记】主要涵盖了构建一个基于SpringBoot2.x和SpringCloud2.x的微服务架构电商项目的全过程。以下将详细介绍项目中的关键技术和实现方式。 **技术选型** 1. **SpringBoot2.x**: 作为...
企业经营数据分析——思路、方法、应用与工具
06-21
《企业经营数据分析——思路、方法、应用与工具》的内容来自笔者长期从业经验的总结，所有的内容都是从企业的实际应用出发，涵盖了多个行业，其中包括生产制造业、零售服务业、电商行业等，读者可以将其中的思路和...
任亮广西移动电商项目笔记
04-12
【描述】：“任亮广西移动电商项目笔记”详细记录了整个项目的关键环节，包括需求分析、系统设计、技术选型、开发实现以及项目管理等方面，为读者提供了一次完整的电商项目实践经验。这些笔记不仅展示了J2EE技术在...
品优购电商项目资料（案例笔记素材）
11-25
- 数据分析：利用Google Analytics或其他工具收集用户行为数据，分析用户需求，指导产品迭代。 6. **持续集成与部署**： - Jenkins、GitLab CI/CD或Travis CI等工具实现自动化构建和测试，提高软件发布效率。 - ...
在线零售销售数据
10-19
在线零售数据，可用于数据分析实践和BI数据一体化展示
E-Commerce Data 电子商务数据-数据集
03-12
电子商务销售数据。 ecommerce.csv
php tushare,tushare
weixin_35725310的博客
04-11 905
import requestsfrom jqdatasdk import *import tushare as tsfrom bs4 import BeautifulSoupfrom lxml import etreefrom multiprocessing import Poolimport multiprocessingimport timeimport datetimeimport rand...
淘宝用户行为分析（Python）
weixin_42972001的博客
07-05 5703
一、分析背景与目的 2014年是阿里巴巴集团移动电子商务业务快速发展的一年。例如，2014年11月11日的移动销售中的移动终端商品总销售额（GMV）占总GMV的42.6％。与PC时代相比，移动终端可以随时随地访问网络。此外，他们还拥有更丰富的背景数据，例如用户的位置信息，访问时间的规律性等。该竞争基于阿里巴巴M-Commerce平台上的真实用户商品行为数据。同时，它提供了移动时代典型的位置信息。 通过挖掘用户行为数据价值，深度分析，然后可视化展现出来；能够充分发现业务运营中的问题，制定合理的运营策略，优
电商数据分析
guyuruo的专栏
08-02 941
一、项目背景 本次样本数据集来自“天池”的婴儿用品信息，包含从2012年起至2015年2月的两个表trade（商品交易记录）和babyinfo（婴儿信息）。根据以往的销售数据分析2015年（当年）整体的销量断崖式下降的原因，并提出改进方案。 二、字段说明 1. trade表（商品交易记录）： buy_mount （购买数量/销量） user_id（用户id） auction_id（购买行为编号） cat1（商品所属的大类） cat_id（cat1的子类，是更细分的类别） property（商品...
Python实战：利用Uplift模型识别营销敏感用户提升转化率（一）
weixin_41432734的博客
08-06 1290
点击上方蓝字关注我们利用Uplift模型识别营销敏感用户提升转化率 上篇 ...
利用Tableau和python对销售数据进行分析
数据真好玩
09-07 3620
商家追踪和分析用户的购买行为，是希望对用户购买行为的研究，从而识别出机会和问题，进行明智的商业决策。每个用户往往都有着其不同的用户生命周期，企业公司都不希望自己的用户流失，并且希望他们能够在生命周期中创造更大的价值。因此在这一过程中，对于不同类型的用户，都必须采取必要的措施，使用用户流失模型来识别和预测待流失的用户；使用用户价值模型对创造价值较多的用户进行识别和引导创造更多的价值。在本次数据分析中...
多场景用户实战---用户行为分析(总结有点多)
weixin_43737594的博客
09-14 1529
用户行为分析 学习目标 知道用户行为分析的常用方法 知道AARRR模型的含义 掌握使用Python代码进行用户行为分析 1、什么是用户行为分析 在产品运营中，如何及时准确的获得用户对产品的反馈十分重要，我们可以根据用户的反馈，及时改进产品，从而保持竞争优势。 用户行为是指用户在产品上产生的行为，比如登陆，浏览商品，加购物车，收藏，点赞，分享，视频完播，划走视频等等 2、如何进行用户行为分析 2.1 事件分析 行为事件分析的作用：研究某
Python实战：利用Uplift模型识别营销敏感用户提升市场策略（二）
weixin_41432734的博客
08-11 1296
点击上方蓝字关注我们利用Uplift模型识别营销敏感用户提升转化率 上篇 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值