Spark SQL案例： 分组排行榜

最新推荐文章于 2023-07-04 20:07:29 发布
最新推荐文章于 2023-07-04 20:07:29 发布
阅读量76 收藏
点赞数
文章标签： sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xue1100/article/details/125430512
版权
该博客介绍了如何在Scala环境下，通过Maven项目配置，处理上传到HDFS的grades.txt文件，创建并运行一个程序来生成成绩的分组排行榜。主要步骤包括设置项目信息、添加相关依赖、创建日志属性文件、实现排行榜单例对象，并在本地运行程序查看输出结果。
摘要由CSDN通过智能技术生成

一、提出任务

  • 创建数据表t_grade

 

预备工作：启动集群的HDFS与Spark

将成绩文件 - grades.txt上传到HDFS上/input目录

三、完成任务

（一）新建Maven项目

  • 设置项目信息（项目名、保存位置、组编号、项目编号）

 将java目录改成scala目录

 

（二）添加相关依赖和构建插件

 

 

（三）创建日志属性文件

  • 在资源文件夹里创建日志属性文件 - log4j.properties

 

 

（四）创建分组排行榜单例对象

  • 在net.cb.sql包里创建GradeTopNBySQL单例对象

 

（五）本地运行程序，查看结果

  • 在控制台查看输出结果

 

 

薛二娃
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL案例：分组
m0_63797754的博客
06-19 878
Spark SQL 案例：分组
Spark | 分组排序
俗人
12-04 1057
记录下Spark分组排序时遇到的问题，需求问题如下： 当前有HDFS文件数据内容为： (字段顺序为手机号-phone、用户ID-userId、线路-line、时间戳-clientTimestamp)，然后读取HDFS文件内容生成rdd,其中rdd的格式为( (phone,userId,line)) 130xxxxxxxx&1980098385910287364&1004&a...
Spark--分组TopN
chbxw
05-30 2737
为了获取每个分组的topN， 首先要进行分组， 再对每个分组进行排序，获取TopN。测试数据hadoop 23 spark 45 java 90 spark 57 spark 90 hadoop 99 hadoop 76 spark 45 spark 88 spark 89 hadoop 45 hadoop 90 java 78 java 701.1、第一步， 将源数据转化为（key， value）
Spark-分组TopN
qq_40382400的博客
07-04 448
Spark的分组TopN （1）自定义分区器，按照key进行分区，使不同的key进到不同的分区 （2）对每个分区运用spark的排序算子进行排序// 构造示例数据// 创建 JavaPairRDD// 自定义分区器，按照键进行分区// 对每个分区使用排序算子进行排序并获取 TopN 值// 指定要获取的 TopN 值的数量});// 打印结果sc.stop();// 自定义分区器@Overridereturn 3;// 指定分区数。
Spark SQL案例：分组排行榜
weixin_54425212的博客
06-16 504
同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩 数据表 预备工作：启动集群的HDFS与Spark 执行上述语句
Spark SQL 案例: 分组排行榜
qq_57026298的博客
06-17 258
Spark SQL
Spark：求出分组内的TopN
weixin_33739523的博客
07-24 142
制作测试数据源： c1 85 c2 77 c3 88 c1 22 c1 66 c3 95 c3 54 c2 91 c2 66 c1 54 c1 65 c2 41 c4 65 spark scala实现代码： import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession...
spark 分组排行
qq_58166534的博客
06-21 118
1.启动集群的HDFS与Spark2.上传text文件 更改java 为scala目录在文件中添加依赖 创建日志文件 创建分组排行对象 package net.huawei.rddimport org.apache.spark.{SparkConf, SparkContext}/** * 功能：成绩分组排行榜 * 作者：华卫 * 日期：2022年06月15日 */ object GradeTopN { def main(args: Array[String]): Unit = { //
使用Spark core和SparkSQL的窗口函数分别实现分组取topN的操作
bbaiggey_bigdata的博客
08-29 4382
在spark 1.4及以上版本中，针对sparkSQL，添加了很多新的函数，进一步扩展了SparkSQL对数据的处理能力。 本篇介绍一个强大的窗口函数 row_number()函数，常用于对数据进行分组并取每个分组中的TopN数据。 示例数据如下： class1 90 class2 56 class1 87 class1 76 class2 88 class1 95 class1 7
Java spark分组排序,Spark数据框分组，排序和选择一组列的顶部行
weixin_36366239的博客
02-13 194
I am using Spark 1.5.0. I have a Spark dataframe with following columns:| user_id | description | fName | weight |What I would like to do is to select top 10 and bottom 10 rows (based on the value of ...
Spark分组取TopN
https://blog.csdn.net/sinat_36710456
01-21 3127
这篇文章主要介绍在Spark中如何分组取TopN元素的两种方法： 第一种方法基于Spark SQL的窗口函数实现， 第二种方法基于原生的RDD接口实现。 构造数据 首先我们构造一份班级的成绩数据，这份数据有三列组成，第一列是考试科目category，第二列是学生的名字name，第三列是学生的成绩。如下： val df = spark.createDataFrame(Seq(   ("A"...
sparksql分组后topN（JAVA）
ZYJ_2012的博客
03-21 1481
org.apache.spark spark-core_2.10 1.6.0 org.apache.spark spark-sql_2.10 1.6.0 org.apache.spark spark-hive_2.10 1.6.0 public class RowNumberTopN { public static
常用sql:按照表中的某一列对数据进行分组,统计数据条数
weixin_30872733的博客
07-14 2294
select FROM_UNIXTIME(start_time,'%Y-%m-%d')as date,COUNT(*) FROM random_num GROUP BY FROM_UNIXTIME(start_time,'%Y-%m-%d')　　 sql解释:在 random_num 表中将 start_time 按照 Y-m-d 的格式 进行分组,统计每天的数据条数 转载于...
25. Spark Sql求出每一周的周一和周日
元元的李树专栏
11-11 3183
25. Spark Sql求出每一周的周一和周日 当看到这个需求时，很自然的想到用 date_sub或date_add函数，但参考官方文档的函数说明，发现其用法跟关心型数据库sql语法不太一致，需要做一些转换才可以达到想要的效果。 https://spark.apache.org/docs/1.6.0/api/java/org/apache/spark/sql/functions.html#...
Spark分区方式详解
热门推荐
dmy1115143060的博客
09-11 1万+
一、Spark数据分区方式简要              在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。...
Spark大数据处理讲课笔记4.8 Spark SQL典型案例
qq_61324603的博客
06-16 1941
有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科总分与平均分。设置项目信息（项目名、保存位置、组编号、项目编号）设置项目信息（项目名、保存位置、组编号、项目编号）Python成绩表 -单击【Finish】按钮。单击【Finish】按钮。
Spark使用RDD实现分组topN(八种方法)
weixin_43218601的博客
11-17 1742
Spark使用RDD实现分组topN(八种方法)
spark sql 案例
最新发布
06-20
以下是一些Spark SQL 的典型案例： 1. **数据加载与清洗**： - 从各种数据源（如HDFS、CSV、JSON、Parquet等）读取数据。 - 使用 `CREATE TABLE` 声明外部数据源为表，便于后续查询。 - 清洗数据，比如去除重复...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值