hive,spark经典sql题

这篇博客通过实例展示了如何使用Spark SQL和Hive SQL进行数据统计分析。包括统计每个店铺的UV,找出店铺访问次数最多的前三位访客,以及用户访问数据的累计计算,每月订单数、用户数和总金额的统计,新客数的计算,以及学生成绩的分组分析等。
摘要由CSDN通过智能技术生成

1. 请使用Spark SQL完成。

有50W个京东店铺,每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志,访问日志存储的表名为Visit,访客的用户id为user_id,被访问的店铺名称为shop,请统计:
1)每个店铺的UV(访客数)
2)每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数
数据如下:
u1 a
u2 b
u1 b
u1 a
u3 c
u4 b
u1 a
u2 c
u5 b
u4 b
u6 c
u2 c
u1 b
u2 a
u2 a
u3 a
u5 a

1)每个店铺的UV(访客数)

select shop,count(distinct user_id) from visit group by shop;

2)每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数
(1)查询每个店铺被每个用户访问次数

select shop,user_id,count(*) ct
from visit
group by shop,user_id;t1

(2)计算每个店铺被用户访问次数排名

select shop,user_id,ct,rank() over(partition by shop order by ct desc) rk
from t1;t2

(3)取每个店铺排名前3的

select shop,user_id,ct
from t2
where rk<=3;

(4)最终SQL

select 
shop,
user_id,
ct
from
(select 
shop,
user_id,
ct,
rank() over(partition 
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值