SparkSQL实战小项目之热门商品top3（无需自定义 UDAF 函数）

最新推荐文章于 2022-10-19 17:16:53 发布

小二西风

最新推荐文章于 2022-10-19 17:16:53 发布

阅读量1.4k

点赞数 2

文章标签： spark 大数据 big data

本文链接：https://blog.csdn.net/qq_55999457/article/details/121482282

版权

本博客分享了一个使用SparkSQL进行热门商品Top3分析的实战项目，无需自定义UDAF函数。通过多表联合查询，统计商品在各地区的点击量，并计算百分比，最终排序展示结果。代码中存在优化空间，适合初学者学习。

摘要由CSDN通过智能技术生成

SparkSQL实战小项目之热门商品top3（无需自定义UDAF函数）

一、说明及需求分析

参考我的老师的博客 SparkSQL实战小项目之热门商品top3_若兰幽竹-CSDN博客

二、准备测试数据

参考我的老师的博客 SparkSQL实战小项目之热门商品top3_若兰幽竹-CSDN博客

三、思路分析

测试数据分别位于user_visit_action、city_info、product_info表中，需多表联合查询，保留可用字段，筛选出可用数据。
统计某地区某城市某商品出现的次数即为某地区某城市某商品的点击量
统计出某地区、某商品总点击量（为后面求百分比做准备）
为了容易操作，将第2步的临时视图和第3步的临时视图联合在一起(为后面求百分比做准备）
求百分比，并拼接字符串，获得“城市备注”的数据
排序、展示结果

四、

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小二西风

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
SparkSQL实战小项目之热门商品top3（无需自定义 UDAF 函数）

SparkSQL实战小项目之热门商品top3（无需自定义UDAF函数）
复制链接

扫一扫

基于spark的电商商品智能分析系统，采用流式计算电商商品关注度，实现商品智能推荐及关联分析.zip

08-30

基于spark的电商商品智能分析系统，采用流式计算电商商品关注度，实现商品智能推荐及关联分析.zip

SparkSQL实战小项目之热门商品top3

若兰幽竹

11-08

3184

参与评论您还未登录，请先登录后发表或查看评论

Spark SQL 项目实战 | 计算各区域热门商品 Top3

不温卜火

08-15

8355

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/ 本片博文为大家带来的是计算各区域热门商品 Top3。目录一..

Spark-SQL之每日top3热点搜索词案例统计

S_Running_snail的博客

04-13

1154

实现思路 1、针对原始数据（HDFS文件），获取输入的RDD 2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件的数据。 2.1 普通的做法：直接在fitler算子函数中，使用外部的查询条件（Map），但是，这样做的话，是不是查询条件Map，会发送到每一个task上一份副本。（性能并不好） 2.2 优化后的做法：将查询条件，封装为Broadcast广播变...

04-18

【SparkSql篇02】SparkSql之自定义UDF和UDAF函数1

08-04

在本篇文章中，我们将深入探讨如何在 SparkSQL 中创建和使用自定义用户定义函数（UDF）和用户定义聚合函数（UDAF）。首先，我们需要理解 SparkSQL 的基本工作原理，它允许我们将 DataFrame 处理与 SQL 查询结合起来...

使用IDEA编写SparkSql自定义聚合函数——强类型Dataset（求平均值）

01-20

我们创建一个`udaf`对象，将自定义聚合函数转换为可查询的列`avg_age`，并应用到数据集上。最后，通过`groupByKey`和`agg`方法进行分组和聚合操作，计算每个用户群体的平均年龄，并打印结果。这个过程展示了如何...

Hive自定义函数

01-20

【Hive自定义函数】是Hive为了满足用户在处理大数据时遇到的特定业务需求而提供的功能。在Hive的内置函数无法满足这些需求时，用户可以通过编写自定义函数（UDF）进行扩展。UDF全称为User Defined Function，允许...

Clickhouse之自定义函数

最新发布

09-14

3. **自定义函数怎么写** 编写自定义函数涉及以下几个步骤： - **定义输入**：明确函数需要的输入参数，例如用户ID、事件、事件时间戳等。 - **定义算法**：根据业务逻辑编写计算过程，可能涉及到数据排序、分组、...

SparkSqlOnHive_各区域热门商品Top3_数据资料

02-16

SparkSqlOnHive_各区域热门商品Top3_数据资料

自定义hive函数

07-24

Hive 的灵活性之一在于支持用户自定义函数（UDF），包括用户定义的单行函数（UDF）、用户定义的多行函数（UDAF）和用户定义的表函数（UDTF）。这些自定义函数允许开发者扩展Hive的功能，以满足特定的业务需求。 ...

Spark实战案例-需求1-Top10热门品类

冰冰冰

03-09

5051

文章目录第5章 Spark案例实操6.1 需求1：Top10热门品类6.1.1 需求说明6.1.2 实现方案一6.1.2.1 需求分析6.1.2.2 需求实现6.1.3 实现方案二6.1.3.1 需求分析6.1.3.2 需求实现6.1.4 实现方案三6.1.4.1 需求分析6.1.4.2 需求实现第5章 Spark案例实操在之前的学习中，我们已经学习了Spark的基础编程方式，接下来，我们看看在实际的工作中如何使用这些API实现具体的需求。这些需求是电商网站的真实需求，所以在实现功能前，咱们必须先将

Spark综合使用及用户行为案例区域内热门商品统计分析实战-Spark商业应用实战...

weixin_33817333的博客

12-25

425

版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何技术交流，可随时联系。 1 UDAF 电商业务的实现城市信息累加 MutableAggregationBuffer是一个数组，这里我们取 buffer.getStri...

三十四、《大数据项目实战之用户行为分析》Spark SQL热点搜索词统计

大数据实战派

10-19

426

本例根据用户上网的搜索记录对每天的热点搜索词进行统计，以了解用户所关心的热点话题。本例的数据转化流程如图。

基于Spark Mllib, 使用java api操作的电影推荐系统(spark1.5.2 jdk1.7)

Carson的专栏

02-10

704

最近在学习Spark Mllib，看了一些它的算法，但不知道算法怎么去应用，网上的实例大部分都是使用Scala语言写的，没有java的代码，从网上找到了一篇基于Spark Mllib，SparkSQL的电影推荐系统也是使用Scala语言（对其不是很了解，暂时也没有多少时间去学），还好他讲得特别细，关于测试数据他都有下载地址，在这就不多说了。直接把由其改写的java代码附上： maven依赖如下...

java版Spring Cloud之Spark 离线开发框架设计与实现

m0_65038841的博客

09-14

182

最后，我们在使用离线开发框架回溯一个一年的串行任务中，代码的执行只需要 5 分钟左右，我们发现，不使用离线开发框架回溯的任务在最理想的情况下（即最短时间分配到资源、所有子任务均无失败情况、一次可以串行启动 365 天），需要的时间为 2.5 天，但使用离线开发框架回溯的任务，在最坏的情况下（即最长时间分配到资源，任务失败情况出现 10%），只需要 6 个小时就可完成，提效 90% 以上，且基本无需人力关注。在日常的数据仓库开发工作中，我们除了开发工作外，也涉及大量的数据回溯任务。

Spark的一些小项目

专注于后端开发，时常接触大数据、人工智能等

04-09

1918

原文地址：https://blog.csdn.net/metooman/article/details/78775918 sparkwordcount object SparkWC { def main(args: Array[String]): Unit = { //创建配置信息类，并设置应用的程序名称 //local [2] 本地启用2个线程模拟集群运行任务 ...

Spark期末大作业

weixin_44986823的博客

06-12

3710

需求描述本次实验需要Linux：Ubuntu 18.04、Hadoop3.1.3、Python: 3.6、Spark: 2.4.0、Jupyter Notebook、数据集来自数据网站Kaggle的美国新冠肺炎疫情数据集（从百度网盘下载，提取码：t7tu），该数据集以数据表us-counties.csv组织，其中包含了美国发现首例新冠肺炎确诊病例至今（2020-05-19）的相关数据。数据包含以下字段：字段名称字段含义例子 date 日期 2020/1/...