Spark SQL案例:分组排行榜

本文介绍了如何使用Spark SQL处理大数据场景中常见的分组求TopN需求。通过一个学生成绩的例子,详细讲解了从创建Maven项目,设置依赖,到读取数据,按键分组,按值排序并取每组前三的步骤。最后通过交互式操作展示了中间结果和最终输出。
摘要由CSDN通过智能技术生成

一、提出任务

  • 分组求TopN是大数据领域常见的需求,主要是根据数据的某一列进行分组,然后将分组后的每一组数据按照指定的列进行排序,最后取每一组的前N行数据。
  • 有一组学生成绩数据
  • 张三丰 90
    李孟达 85
    张三丰 87
    王晓云 93
    李孟达 65
    张三丰 76
    王晓云 78
    李孟达 60
    张三丰 94
    王晓云 97
    李孟达 88
    张三丰 80
    王晓云 88
    李孟达 82
    王晓云 98

    同一个学生有多门成绩,现需要计算每个学生分数最高的前3个成绩,期望输出结果如下所示:

  • 张三丰:94 90 87
    李孟达:88 85 82
    王晓云:98 97 93
    

    预备工作:启动集群的HDFS与Spark

  •  将成绩文件 - grades.txt上传到HDFS上/input目录

  • 二、完成任务

    (一)新建Maven项目

  • 设置项目信息(项目名、保存位置、组编号、项目编号)
  •  

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值