第20课 ：SPARK Top N彻底解秘 TOPN 排序（Scala）SPARK分组TOPN 算法（JAVA） 必须掌握！

最新推荐文章于 2024-03-08 10:27:01 发布
最新推荐文章于 2024-03-08 10:27:01 发布
阅读量8.1k 收藏 2
点赞数 1
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/50812408
版权
本文详细介绍了如何使用Scala和Java实现Spark的TopN排序，包括单列TopN排序、分组TopN排序，以及算法背后的二分查找和水桶抽样等策略。代码示例展示了如何读取数据、进行排序和分组，并给出了最终的输出结果。
摘要由CSDN通过智能技术生成

1、TopN的排序 Scala开发
读入数据
1
4
2
5
7
9
11
23
1
2
5
6
7
8


topn排序结果
23
11
9
8
7

 

按隐士转换，按字符串排序运行结果
9
8
7
7
6

2、TOPN分组排序，使用JAVA开发
输入文件
Spark 100
Hadoop 62
Flink 77
Kafka 91
Hadoop 93
Spark 78
Hadoop 69
Spark 98
Hadoop 62
Spark 99
Hadoop 61
Spark 70
Hadoop 75
Spark 88
Hadoop 68
Spark 90
Hadoop 61

运行结果
Group key :Flink
77
null
null
null
null
**********************
Group key :Spark
100
99
98
90
88
***

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
第97课： 使用Spark Streaming+Spark SQL实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名
段智华的博客
05-04 2322
第97课： 使用Spark Streaming+Spark SQL实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名 本节课将在之前学习的Spark SQL和 DataFrames彻底剖析的基础上，使用Spark Streaming+Spark SQL实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名。并针对此部分进行内幕源码解密。理论与实战并行，并配以源码支
Spark | 分组排序
俗人
12-04 1075
记录下Spark分组排序时遇到的问题，需求问题如下： 当前有HDFS文件数据内容为： (字段顺序为手机号-phone、用户ID-userId、线路-line、时间戳-clientTimestamp)，然后读取HDFS文件内容生成rdd,其中rdd的格式为( (phone,userId,line)) 130xxxxxxxx&1980098385910287364&1004&a...
大数据IMF传奇行动绝密课程第20课：Top N彻底解秘
tom_8899_li的博客
08-03 536
Top N彻底解秘1、基础top N算法 2、分组top N算法只要是改变每一行列的数据，一般都是用map操作，下面是基础topN算法。package com.tom.spark.coresimport org.apache.spark.{SparkConf, SparkContext}/** * TopNBasic.scala */ object TopNBasic { def ma
pandas根据列名提取数据_Python学习100天-Day15(数据分析篇-pandas03）
weixin_39800957的博客
11-27 277
Day15-数据框筛选和排序先解答一下昨天的问题，假如现在2013NBA的数据是这样：C和SG的数据分了出来，我们现在要通过pandas操作合并sheet。我这边定于了一个合并sheet的方法，名为bindsheet，返回的是DF对象：alldata。可以直接调用方法然后填入文件地址参数进行合并。通过定义bindsheet方法，方便我们将方法运用在合并xlsx文件的代码中，可以通过先合并sheet...
sparksql分组后topN（JAVA）
ZYJ_2012的博客
03-21 1487
org.apache.spark spark-core_2.10 1.6.0 org.apache.spark spark-sql_2.10 1.6.0 org.apache.spark spark-hive_2.10 1.6.0 public class RowNumberTopN { public static
Spark SQL案例：分组
m0_63797754的博客
06-19 883
Spark SQL 案例：分组
第71课：Spark SQL窗口函数解密与实战学习笔记
slq1023的博客
04-13 7944
第71课：Spark SQL窗口函数解密与实战学习笔记 本期内容： 1 SparkSQL窗口函数解析 2 SparkSQL窗口函数实战   窗口函数是Spark内置函数中最有价值的函数，因为很多关于分组的统计往往都使用了窗口函数。 Window Aggregates (Windows) Window Aggregates (aka Windows) operate on a grou
Spark性能调优
最新发布
weixin_41367158的博客
03-08 84
1、前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。 然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进
【spark床头书系列】DataFrameReader可以读取多少种数据？【建议收藏必看】
wang2leee的博客
11-26 498
Spark DataFrame可以读取多少种数据
Spark--分组TopN
chbxw
05-30 2740
为了获取每个分组的topN， 首先要进行分组， 再对每个分组进行排序，获取TopN。测试数据hadoop 23 spark 45 java 90 spark 57 spark 90 hadoop 99 hadoop 76 spark 45 spark 88 spark 89 hadoop 45 hadoop 90 java 78 java 701.1、第一步， 将源数据转化为（key， value）
Spark-分组TopN
qq_40382400的博客
07-04 456
Spark的分组TopN （1）自定义分区器，按照key进行分区，使不同的key进到不同的分区 （2）对每个分区运用spark的排序算子进行排序// 构造示例数据// 创建 JavaPairRDD// 自定义分区器，按照键进行分区// 对每个分区使用排序算子进行排序并获取 TopN 值// 指定要获取的 TopN 值的数量});// 打印结果sc.stop();// 自定义分区器@Overridereturn 3;// 指定分区数。
Spark：Java实现分组取Top N
菜如张学清的博客
12-06 1321
1、源数据如下，取出每班成绩的前三名class1 98 class2 90 class2 92 class1 96 class1 100 class2 89 class2 68 class1 81 class2 90 2.实现代码package cn.spark.study.core;import java.util.ArrayList; import java.util.Arrays; impor
Spark：求出分组内的TopN
weixin_33739523的博客
07-24 146
制作测试数据源： c1 85 c2 77 c3 88 c1 22 c1 66 c3 95 c3 54 c2 91 c2 66 c1 54 c1 65 c2 41 c4 65 spark scala实现代码： import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession...
spark 分组排行
qq_58166534的博客
06-21 118
1.启动集群的HDFS与Spark2.上传text文件 更改java 为scala目录在文件中添加依赖 创建日志文件 创建分组排行对象 package net.huawei.rddimport org.apache.spark.{SparkConf, SparkContext}/** * 功能：成绩分组排行榜 * 作者：华卫 * 日期：2022年06月15日 */ object GradeTopN { def main(args: Array[String]): Unit = { //
Java spark分组排序,Spark数据框分组，排序和选择一组列的顶部行
weixin_36366239的博客
02-13 198
I am using Spark 1.5.0. I have a Spark dataframe with following columns:| user_id | description | fName | weight |What I would like to do is to select top 10 and bottom 10 rows (based on the value of ...
spark求topN问题的自定义分区器的实现
SOARING
04-15 507
package com.thy.spark import java.net.URL import scala.collection.mutable import org.apache.spark.{Partitioner, SparkConf, SparkContext} import org.apache.spark.rdd.RDD object GroupFavTeacher...
spark TopN求解
weixin_38624543的博客
03-08 527
完整代码text.txt文件内容代码没什么好说的 但有一个注意点 SparkConf.setMaster 这里如果设置为多线程 那么count必须调用collect()方法 否则结果不正确
Spark分区方式详解
热门推荐
dmy1115143060的博客
09-11 1万+
一、Spark数据分区方式简要              在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值