面试题01：【Spark】sortByKey如何实现全局排序

最新推荐文章于 2023-05-19 20:44:12 发布
最新推荐文章于 2023-05-19 20:44:12 发布
阅读量750 收藏 1
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40612128/article/details/123349074
版权
本文探讨了Spark中sortByKey如何实现全局排序，通过RangePartitioner利用分治策略。同时，介绍了在一台服务器上，如何应对1T数据的内存排序问题，采用抽样、切片和分块策略，确保数据有序并输出到文件中。
摘要由CSDN通过智能技术生成

一、sortByKey如何实现全局排序

使用RangePartitioner实现根据数据范围来分区，采用分治思想
在这里插入图片描述

二、一台服务器，如何在内存中对1T数据排序

先抽样，然后进行切片，划分界限，分成32份，保证第一份比第二份小，第二份比第三份小，以此类推。。
然后对每一份数据进行排序输出到文件中。

在这里插入图片描述

做一个有趣的人Zz
关注
Spark进阶高频面试题
悦分享
06-13 139
以shuffle为例，伴随着大量的Shuffle写操作，JVM的新生代不断GC，Eden Space写满了就往Survivor Space写，同时超过一定大小的数据会直接写到老生代，当新生代写满了之后，也会把老的数据搞到老生代，如果老生代空间不足了，就触发FULL GC，还是空间不够，那就OOM错误了，此时线程被Blocked，导致整个Executor处理数据的进程被卡住。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务，作业提交资源申请等，在恢复前是不能接受请求的。
Spark面试题整理
12-17 1403
https://www.jianshu.com/p/7a8fca3838a4 整理来源：《Spark面试2000题》 目录 Spark section-0 基础 (3) Spark section-1 Spark运行细节 (13) Spark section-2 Spark 与 Hadoop/MapReduce 比较 (7) Spark section-3 RDD (4) Spark sec...
SparkSQL中的Sort实现（一）
doggggggggggggggggggggggggggggggggggggie的专栏
12-18 9645
SparkSQL中同样支持Order by和Sort by两种操作，本篇文章简单介绍Order by的分区间排序。
Spark分区器HashPartitioner和RangePartitioner/全局排序
ThreeAspects的博客
05-07 1551
  在Spark中分区器直接决定了RDD中分区的个数，RDD中每条数据经过Shuffle过程属于哪个分区以及Reduce的个数。只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。   在Spark中，存在两类分区函数：HashPartitioner和RangePartitioner，它们都是继承自Partitioner，主要提供了每个RDD有几个分...
Spark 数据全局排序实现以及RangePartitioner的使用示例
吟啸徐行
09-13 6414
使用Java 随机数类随机生成0到Integer.MAX_VALUE之间的10GB文件，然后使用Spark计算框架进行全局排序。 实现思路：可以局部排序(局部数据是全局数据的某一个范围)最后合并到全同一个文件，保证全局有序，这样可以设置一个reduce任务实现，但是对于更大量的数据容易出现OOM。如果不合并到同一个文件的话，可以将每一个分区有序的数据输出到磁盘。最后借鉴Kafka的数据管理方式建
Spark分区器HashPartitioner和RangePartitioner代码详解
张伟的专栏
02-13 5125
在Spark中分区器直接决定了RDD中分区的个数；也决定了RDD中每条数据经过Shuffle过程属于哪个分区；也决定了Reduce的个数。这三点看起来是不同的方面的，但其深层的含义是一致的。 　　我们需要注意的是，只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的。 　　在Spark中，存在两类分区函数：HashPartitioner和R
7，spark 排序 ： 全局排序，局部排序，组内排序，分区与排序的关系
孙砚秋的博客
09-27 1369
1 ，
spark sortBy sortByKey实战详解
bitcarmanlee的博客
08-27 9240
日常工作中，排序是道绕过不过去的侃，我们每天都会面对各种各样的排序需求。那么在spark中如何排序呢？我们来看一些很有代表性的例子。 1.最简单的排序 假设有个RDD[Int]类型的数据，需要按数据大小进行排序，那这个排序算最简单的： sc.parallelize(Array(1,3,2,4,6,5)).sortBy(x => x).collect() 代码运行的结果： ...
Spark面试题*精选*（附答案）
最新发布
yhy_only的博客
05-19 1310
学习spark，多多学习
spark面试题总结（大数据面试）
let_go_on的博客
08-11 876
概述
Spark处理数据排序问题如何避免OOM
12-17
错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterable 在内存中是一个指针，不占内存，而list是一个容器，占用内存，如果Iterable 含有元素过多，那么极易引起OOM val cidAndSidCountGrouped: RDD[(Long, Iterable[(String, Int)])] = cidAndSidCount.groupB
大数据学习之Spark面试题
liu_weiliang10405的博客
04-03 450
1. Spark 的运行流程？ Spark运行流程具体运行流程如下： SparkContext 向资源管理器注册并向资源管理器申请运行 Executor资源管理器分配 Executor，然后资源管理器启动 ExecutorExecutor 发送心跳至资源管理器SparkContext 构建 DAG 有向无环图将 DAG 分解成 Stage（TaskSet）把 Stage 发送给 TaskSchedulerExecutor 向 SparkContext 申请 TaskTaskScheduler 将 T
spark全局排序，数据严重倾斜，一种解决方案
TNT_wang的博客
08-23 615
业务需要根据每个用户的访问频次进行排序，但是大量的用户访问次数都集中在很少的频次，根据频次排序会有严重的数据倾斜，这里提供一种方式，比如原始数据如下，两列（用户ID， 频次count） user001,1000 user002,1002 user003,2 user004,1 第一步：按照如下规则新增一列Vcount，（假设频次集中在100以内） 如果count大于等于100， Vcount = count； 如果count小于100，Vcount = -(100-count） * 10000
[spark]排序
胖胖的博客
10-27 1981
排序的执行顺序：按照集合中元素的比较规则进行排序，如果集合中元素没有比较规则，则可以通过extends Ordered[] 并重写相应方法实现。和sortByKey的区别是：sortBy按照f:(T)=>K这个函数的返回值进行排序这使得sortBy使用起来比sortByKey更加灵活。numPartition：可以指定排序结果的分区数，默认排序结果的分区数是这个rdd的分区数。ascending:为true则按照升序排序，为false则按照降序排序，默认为true。函数的作用：按照key进行排序。
Spark实现全排序、二次排序
王凯凯之猿的博客
05-11 4416
###############################################数据如下：年份：气温2005 192005 402006 302008 502007 352007 321，spark实现全排序，即按照年份对数据升序排列，对以上的数据 实现的效果：2005 192005 402006 302007 322007 352008 50代码：import org.apache...
hadoop编程小技巧（4）---全局key排序类TotalOrderPartitioner
fansy1990的专栏
07-18 4277
Hadoop代码测试版本：Hadoop2.4原理：在进行MR程序之前对输入数据进行随机提取样本，把样本排序，然后在MR的中间过程Partition的时候使用这个样本排序的值进行分组数据，这样就可以达到全局排序的目的了。难点：如果使用Hadoop提供的方法来实现全局排序，那么要求Mapper的输入、输出的key不变才可以，因为在源码InputSampler中提供的随机抽取的数据是输入数据最原始的ke
Spark高阶排序算法
kxr0502的博客
01-27 1240
第十九课：Spark高级排序算法彻底解密 本期内容： 1、基础排序算法 2、二次排序算法 3、更高级排序算法 4、排序算法内幕 准备： 启动Hadoop：./start-dfs.sh 启动history：./start-history-server.sh   启动spark：./start-all.sh 启动spark-shell （实现广告点
spark（10）-spark高级排序（course19）
王小禾
12-11 233
1.内容 基础排序算法实战 二次排序算法实战 更高级排序算法 排序算法内幕解密//修改一下log级别 scala> sc.setLogLevel("WARN")2.二次排序就是排序的时候考虑两个维度，维度1相同时，再排维度2例如数据源： SecondSort.txt2 3 4 1 3 2 4 3 9 7 2 13.实现Ordered（排序规则）,Serializable接口
自定义排序及RDD理解，spark
大数据小生的博客
08-24 2687
自定义排序1： object CustomSort1 {     def main(args: Array[String]): Unit = {     val conf = new SparkConf().setAppName("CustomSort1").setMaster("local")     val sc: SparkContext = new SparkCo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值