【Hive】实战之电商平台销售数据探索分析案例（含数据）

已于 2022-08-26 17:43:41 修改
阅读量1.1w 收藏 172
点赞数 15
分类专栏： Captain重要代码（项目实操） 文章标签： hive big data 数据仓库
于 2021-12-08 19:14:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Captain_DUDU/article/details/121792577
版权

本文最早发表在csdn时间为:2021-12-08
本案例数据链接（数据是本人业余时间模拟数据，需要的自行下载）：
数据点我下载

数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理

学习是为了不落后，
整理则是为了不忘记。

通过本文您将学习到：

  • hive 相关知识
  • shell 命令
  • 电商销售数据主要探索方向
  • 开窗函数使用

本项目主要复盘下面拆解图中，消费主力人群特征和主要商品贡献等~

在这里插入图片描述

1、背景

某奢侈品电商平台为了合理的投⼊⼈⼒物⼒创造更⼤的销售利润，现需要对已有的销售数据进⾏⽤户分析，提出合理的促销计划。围绕产品和⽤户两⼤⽅⾯展开为电商平台制定策略提供分析及建议。

2、需求

⽤户分析：

  • 从性别、年龄、 职业、城市、居住年限，婚姻状况等维度找到⾼质量⽤户，并查看⾼质量⽤户⼈群的占⽐，为其提供⾼价值消费品 (定位⾼价值消费品以销售⾦额评估）。
  • 针对其他的⽤户，主要引导⽤户进⾏购买，多推荐⼀些热销的商品(定位热销产品)

产品分析：

  • 从销量、销售额都⾼的产品并以⼆⼋法则找到⾼贡献的⼀级产品类

3、数据介绍

每条记录为⼀个订单

字段名称字段描述
User_ID顾客ID
Product_ID商品ID
Gender顾客性别
Age顾客年龄
Occupation顾客从事职业ID
City_Category城市类别
Stay_In_Current_City_Years在现城市呆的年数
Marital_Status婚姻状况
Product_Category_1商品类别1
Product_Category_2商品类别2
Product_Category_3商品类别3
Purchase消费⾦额

4、数据环境准备

4.1 环境准备

本数据在本地搭建的Hive 环境下，所以：
第一步：打开虚拟机，打开xshell 链接服务~
在这里插入图片描述
下面是本机hive 启动步骤：

启动hive步骤
#切换到hadoop⽤户
[root@node100 ~]$ su - hadoop
#启动集群
[hadoop@node100 hadoop]$ start-all.sh
#进⼊到hive安装⽬录
[hadoop@node100 hadoop]$ cd /opt/module/apache-hive-3.1.1-bin
#启动hive
[hadoop@node100 apache-hive-3.1.1-bin]$ hive
hive（default）>

start-all.sh启动一下相关服务
在这里插入图片描述
cd / 跳转根目录 ls 看一下文件夹
在这里插入图片描述
由于 hive安装⽬录在‘/opt/module/apache-hive-3.1.1-bin’
下面直接切换 ，并且启动hive
在这里插入图片描述
进入hive,

# 看一下数据库
SHOW DATABASES;

在这里插入图片描述
环境准备完毕~

4.2数据准备

下载数据：
本案例数据链接（数据是本人业余时间模拟数据，，需要的自行下载）：
数据点我下载

打开xftp
在这里插入图片描述
链接后，找到本地数据文件位置，上传到服务器指定数据文件夹：
在这里插入图片描述
双击文件，上传
在这里插入图片描述
数据准备完毕 数据文件位置为：‘/home/hadoop/data/captain_data_shop_model.txt’

至此，数据准备完毕~

4.3 数据加载

先指定数据库

# 
use captain;

再建表

#建表
create table captain_data_shop_model
(User_ID int,
Product_ID string,
Gender string,
Age string,
Occupation int,
City_Category string,
Stay_In_Current_City_Years string,
Marital_Status int,
Product_Category_1 int,
Product_Category_2 int,
Product_Category_3 int,
Purchase double
)
row format delimited fields terminated by '|' 
tblproperties(
"skip.header.line.count"="1"  -- 跳过首行
);

结果展示：
在这里插入图片描述

装载数据：注意数据源在服务器本地，加‘local’

--装载数据
load data local inpath '/home/hadoop/data/captain_data_shop_model.txt' overwrite into table captain_data_shop_model;

导入成功结果展示：
在这里插入图片描述
查询一下数据：

select * from captain_data_shop_model limit 5;

在这里插入图片描述

5.需求实现

5.0. 数据量：

select count(1) from captain_data_shop_model;

数据量：53万条
在这里插入图片描述
5.1.订单整体的消费情况（包括：总销售额、⼈均消费、平均每单消费）

select  
sum(purchase)  total_sales,
sum(purchase)/count(distinct user_id) avg_user_pay,
sum(purchase)/count(purchase) avg_price
from captain_data_shop_model;

在这里插入图片描述
tableau 注意一下，人均消费注意使用：详细级别表达式 fixed

运行结果：
在这里插入图片描述
总销售额：50 亿
人均消费：85万（不愧是奢侈品电商平台）
平均订单金额：9333（平均一部苹果手机价格）
5.2. ⽤户侧分析（找到⾼质量⼈群）
5.2.1 各性别消费情况

select 
*,
CAST(User_num/(sum(User_num) over () ) as DECIMAL (8,2)) as User_num_percent,
cast( sum_pay/(sum(sum_pay) over ())  as DECIMAL(8,2) ) as pay_percent
from (
select  
Gender   ,
count(distinct User_ID)  User_num ,
CAST(sum(Purchase)/count(distinct User_ID)  as DECIMAL(8,2)) avg_user,
sum(Purchase) sum_pay 
from  captain_data_shop_model group by  Gender
)  as p ORDER BY pay_percent desc;

在这里插入图片描述

在这里插入图片描述

5.2.2 各年龄消费情况

with p as 
(
SELECT 
Age ,
count(DISTINCT User_ID) user_num,
sum(Purchase) sum_pay,
cast(sum(Purchase)/count(DISTINCT User_ID)  as decimal(10,2)) avg_pay
FROM captain_data_shop_model GROUP BY Age
)
SELECT p.*, 
cast(user_num/sum(user_num) over() as DECIMAL(10,2)) user_num_percent,
cast(sum_pay/sum(sum_pay) over() as DECIMAL(10,2)) pay_percent
from p 
ORDER BY 
pay_percent
desc;

运行结果：
在这里插入图片描述
在这里插入图片描述

5.2.3 各职业消费情况

with p as 
(SELECT 
Occupation job,
count(DISTINCT User_ID) user_num,
sum(Purchase) sum_pay,
cast(sum(Purchase)/count(DISTINCT User_ID)  as decimal(10,2)) avg_pay
FROM 
captain_data_shop_model 
GROUP BY 
Occupation)
SELECt 
p.*,
cast((user_num/sum(user_num) over()  )*100 as  DECIMAL(10,2))user_num_precent,
cast((sum_pay/sum(sum_pay) over())*100   as  DECIMAL(10,2)) sum_pay_precent
FROM p
ORDER BY 
sum_pay_precent desc
;

运行结果：
在这里插入图片描述
在这里插入图片描述

5.2.4 各婚姻状况消费情况

WITH
p
as
(
SELECT 
Marital_Status Marital,
count(DISTINCT User_ID) user_num,
sum( Purchase) sum_pay,
cast(sum( Purchase)/count(DISTINCT User_ID) as DECIMAL(10,2)) avg_pay
FROM 
captain_data_shop_model 
GROUP BY 
Marital_Status
)

SELECT 
p.*,
cast((user_num/sum(user_num) over() )*100  as DECIMAL(10,2)) user_num_precent,
cast((sum_pay/sum(sum_pay) over() )*100  as DECIMAL(10,2)) sum_pay_precent
FROM p
ORDER BY sum_pay_precent desc;

运行结果：
在这里插入图片描述
在这里插入图片描述

可以看到，奢侈品顶部用户特征为：性别为M，年龄在26-35， 职业为：4和0的，婚姻状况为0的用户（王思聪很符合啊~）

5.3.产品分析

5.3.1 订单量TOP10的产品

with
p as 
(
SELECT 
Product_ID,
count(Product_ID)  sale_num
FROM 
captain_data_shop_model
GROUP BY
Product_ID
)
SELECT * FROM 
(
SELECT 
RANK() over(ORDER BY sale_num desc) sale_num_rank,
p.*,
cast((sale_num/sum(sale_num) over() )*100  as  decimal(10,2)) sale_num_percent
FROM p
) T_1
WHERE sale_num_rank<=10;

运行结果：
在这里插入图片描述
在这里插入图片描述

5.3.2销售额TOP10

WITH p as 
(
SELECT 
product_ID,
sum( Purchase)  sum_pay
FROM 
captain_data_shop_model
GROUP BY
Product_ID
)

SELECT * FROM 
(
SELECT 
rank() over(ORDER BY sum_pay desc) sum_pay_rank,
p.* ,
cast((sum_pay/sum(sum_pay)   over() )*100  as DECIMAL(10,2) ) sum_pay_precent
FROM 
p
) t_1
WHERE 
sum_pay_rank<=10
order by sum_pay_rank;

运行结果：
在这里插入图片描述

5.3.3 各一级产品类目的订单量、销售额、订单量占⽐、销售额占⽐、累计销售额占⽐

with p as 
(
SELECT  
Product_Category_1,
count(product_ID) sale_num,
sum( Purchase) pay_sum
FROM 
captain_data_shop_model
GROUP BY 
Product_Category_1
)
SELECT 
p.*,
cast((sale_num/sum(sale_num) over() )*100 as DECIMAL(10,2)) sale_num_precent,
cast((pay_sum/sum(pay_sum) over() )*100 as DECIMAL(10,2)) pay_sum_precent,
cast( ((sum(pay_sum) over(ORDER BY pay_sum desc))/( sum(pay_sum) over() ))*100 as DECIMAL(10,2)) add_pay_sum_precent   
FROM p
ORDER BY pay_sum_precent desc;

结果展示：
在这里插入图片描述
5.3.4 各性别销售额TOP10 产品

with p as 
(
SELECT 
Gender,
Product_ID ,
Product_Category_1,
Product_Category_2,
Product_Category_3,
count(Product_ID) sale_num,
sum(Purchase) sum_pay
FROM 
captain_data_shop_model
GROUP BY 
Gender,
Product_ID ,
Product_Category_1,
Product_Category_2,
Product_Category_3
)
SELECT * FROM 
(
SELECT 
p.*,
rank() over(PARTITION by Gender ORDER BY  sum_pay desc) rank_sum_pay,
cast( (sum_pay/sum(sum_pay) over())*100 as DECIMAL(10,2))  sum_pay_precent
FROM 
p
)
T_1
WHERE 
rank_sum_pay<=10
order by Gender,rank_sum_pay

;

结果展示：

在这里插入图片描述

在这里插入图片描述

5.3.5 ⾼质量⽤户群年龄段的订单量TOP10产品

with p as 
(
SELECT 
Product_ID,
count(Product_ID) sale_num,
sum(Purchase) sum_pay,
Product_Category_1,
Product_Category_2,
Product_Category_3
FROM 
captain_data_shop_model
WHERE 
Age='26-35'
GROUP BY
Product_ID,
Product_Category_1,
Product_Category_2,
Product_Category_3
)

SELECT * FROM 
(
SELECT 
p.*,

cast( (sale_num/sum(sale_num)  over()  ) *100 as DECIMAL(10,2)) sale_num_precent,
cast( (sum_pay/sum(sum_pay)  over()  ) *100 as DECIMAL(10,2)) sum_pay_precent,
rank() over( order by sale_num desc) rank_sale_num
FROM  
p 
) t_1
WHERE rank_sale_num<=10;

在这里插入图片描述
在这里插入图片描述

好了，至此，对该奢侈品平台数据的用户群体特征分析与商品贡献分析基本完成，觉得不错，欢迎转发评论点赞收藏~

Captain_Data
关注
  • 15
    点赞
  • 踩
  • 172
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hive大数据——某电商平台数据分析（二）
ws19920726的博客
03-26 1886
Hive大数据——某电商平台数据分析（一） hive数据库表结构 实现如下需求 需求1：某年度对用户满意度进行调研分析，找出目标人群。 分析：可以通过查询有过购买但又发生退款的用户，进行调研。 select a.user_name, a.sex, a.city, a.level from (select user_name, sex, city, level ...
Hive数据分析案例
qq_35447918的博客
10-12 5473
第9章 汽车销售数分析系统 1 创建数据库cardb hive>create database if not exists cardb; hive>use cardb; 2 创建数据表car hive>create external table cars(province string, month int, city string, country string, year int, cartype string, productor string, brand string, mo
Hadoop+Hive数据分析综合案例
最新发布
weixin_43977307的博客
05-31 2801
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展现。
hive实训项目之电商数据分析
qq_58132795的博客
01-13 4916
hive实训项目---------电商数据分析 题干: 某大型电商公司从后台服务器收集到30W条的日志用户行为数据，经过数据初步清洗得到数据如下表sale_user.zip，假如你是该公司一员开发工程师，需要你利用大数据集群为公司存储、计算、分析这些数据，并给出分析结果。需求如下： 1.在Linux系统下将用户行为数据sale_user.zip将解压（解压后文件为sale_user.csv）。（8分） 采用MR程序完成数据清洗： a) 将数据集中的标题行删除； b) 在数据集中添加一个表示省份
python案例分析之电商销售数据分析
加油小白的博客
01-07 3870
电商销售数据分析：待更新
hql视频类热度 HQL
weixin_56765170的博客
05-27 166
9.4 业务分析 9.4.1 统计视频观看数Top10 思路：使用order by按照views字段做一个全局排序即可，同时我们设置只显示前10条。 最终代码： SELECT videoid, views FROM video_orc ORDER BY views DESC LIMIT 10; 9.4.2 统计视频类别热度Top10 思路： （1）即统计每个类别有多少个视频，显示出包含视频最多的前10个类别。 （2）我们需要按照类别group b...
Hive实战案例
senga's blog
01-30 1040
离线作业执行流程 通过MapReduce进行数据清洗，得到ETL数据 创建Hive表，加载ETL数据 进行各种维度的统计，并写入到Hive表中 将Hive表中的数据导出到MySql（optional，利用Sqoop框架可完成该功能） 目前第一步已经执行完成，路径在 /etl/part-r-00000 数据格式如下： time url referer ip ua province pag...
电商销售数据复盘用教程数据 hive分析-菜鸟入门
12-08
### 电商销售数据分析教程：利用Hive进行实战分析 #### 一、背景介绍与目标设定 在电商领域，通过对海量用户行为数据的分析，企业能够更深入地理解顾客的需求和偏好，进而制定出更为精准的市场策略。本教程旨在...
hive综合应用案例-用户学历查询.zip
05-24
例如，电商平台可以通过分析用户的学历信息来优化商品推荐策略；广告公司可以根据用户学历定向投放广告，提高广告效果；在线教育平台则可以根据用户学历来定制课程内容和推广策略。 6. 文档资料与项目说明： "文档...
hive优化案例
01-14
作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。 Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经...
案例：电商交易数据分析
weixin_44376516的博客
12-02 4247
一、导入要使用的模块 import pandas as pd import numpy as np from matplotlib import pyplot as plt from matplotlib import rcParams 二、读取数据 ds_trading_data = pd.read_csv("./order_info_2016.csv", index_col = "id") ...
基于Hive的项目实战视频数据集
02-27
基于Hive的项目实战视频数据集 videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array
基于Hive的项目实战用户数据集
02-27
基于Hive的项目实战用户数据集 格式为： uploader string, videos int, friends int
hive案例之-----------用户分析及答案.rar
09-10
hive案例之----------------------------------用户分析及其答案，恰同学少年，风华正茂，挥斥方遒
大数据——Hive分析项目案例
qq_40395687的博客
03-09 6308
Hive分析项目案例梳理 商业网站中经常统计的数据有哪些： UV：独立访客 同一个用户访问多次会产生多个记录，但是这些记录会在运算的时候合并为1个 语法：count(distinct guid) PV：页面浏览量 同一个用户访问多次，产生多条记录，每一条记录都是一次PV 语法：count(url) 登陆人数： 登陆网站访问的人数[普通会员，VIP，SVIP] endUserId标识...
HiveSQL电商分析案例30题
格子衫
11-03 598
问题导读： 1、如何通过UDF自定义 MD5加密函数 ，对地址、邮箱等信息进行加密？ 2、如何对表内容进行检查？ 3、如何进行数据分析？ 一、前言 Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！我们主要进行一下一些练习： 数据结构 数据清洗 基于Hive的数据分析 二、项目需求 首先和大家讲一下这个项目的需求： 「对某零售企业最近1年门店收集的数据进行数据分析」 潜在客户画像 ...
Hive案例
凉茶铺的博客
10-20 845
使用一个案例，演示了如何使用sql语句进行数据操作
hive大数据——某电商平台数据分析(一)
ws19920726的博客
03-26 2266
hive数据库表结构 实现如下需求(由浅入深) 需求1：某次经营活动中，商家发起了"异性拼团购"，试着针对某个地区的用户进行推广，找出匹配用户。 分析：简单理解本需求，就是将某一个地区性别为男/女的所有用户找出。 select user_name from user_info where city='beijing' and sex='male'; 需求2：某天，发现食物类的商品卖的很好...
大数据开发——Hive实战案例
weixin_44606952的博客
11-25 5801
1. 创建表结构 1.1 视频表结构 1.2 用户表结构 2. 准备工作 2.1 创建临时表 2.2 创建最终使用表 2.3 对创建表进行解读 3. 业务分析
基于Hive的某电商消费用户行为数据分析源码
05-27
基于Hive的某电商消费用户行为数据分析可以分为以下几个步骤： 1. 数据采集：通过网络爬虫等方式获取电商网站的用户行为数据，并将其存储在HDFS上。 2. 数据清洗：对采集到的原始数据进行清洗，去除无用数据，处理缺失值和异常值等。 3. 数据预处理：对清洗后的数据进行预处理，包括数据转换、数据合并、数据划分等。 4. 数据存储：将预处理后的数据存储在Hive中，以便后续分析使用。 5. 数据分析：通过Hive SQL语句进行数据分析，包括用户行为分析、用户画像分析、商品分析、销售分析等。 下面是一份可能的Hive SQL源码示例，用于实现用户行为分析： ```sql --创建数据表 CREATE TABLE user_behavior( user_id STRING, item_id STRING, category_id STRING, behavior_type INT, date STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; --加载数据到表中 LOAD DATA INPATH '/data/user_behavior.txt' OVERWRITE INTO TABLE user_behavior; --查询用户行为数据 SELECT behavior_type, count(*) as total FROM user_behavior GROUP BY behavior_type; --查询用户购买商品的排名 SELECT item_id, count(*) as total FROM user_behavior WHERE behavior_type = 4 GROUP BY item_id ORDER BY total DESC LIMIT 10; --查询不同类别商品的销售量 SELECT category_id, count(*) as total FROM user_behavior WHERE behavior_type = 4 GROUP BY category_id; ``` 注意：这只是一个简单的示例，实际的数据分析过程可能包含更多的步骤和更复杂的SQL语句。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Captain_Data

打赏一下~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值