spark源码action系列-take

最新推荐文章于 2024-03-30 23:56:52 发布
最新推荐文章于 2024-03-30 23:56:52 发布
阅读量799 收藏 1
点赞数
文章标签： spark-transform spark源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014393917/article/details/50606949
版权
本文详细解析了Spark中的RDD行动操作take的工作原理。take主要用于获取RDD的前n个元素，它首先尝试从第一个分区开始，如果不足则遍历后续分区，直到找到n个元素或遍历所有分区。在执行过程中，根据已获取数据和目标数量动态调整读取的分区数。此外，当take的数量为0时，直接返回空数组，而不启动Job。
摘要由CSDN通过智能技术生成

RDD.take的操作

在这个action的操作中:

Take的操作主要用于取出前n条数据的操作,这个操作中首先从第一个partition中去找,如果第一个partition中无法取出前n条数据时,再接下来从后面的partition中接着去找.直到取到n条数据或者说partition中都已经找完.与其对应的还有takeOrder的操作,这个后面在说.

发起JOB的过程:

1,如果take的操作是0,那么直接返回,job都不启动.这里面好像没有对值是负数的判断.

if (num == 0) {
  new 

最低0.47元/天 解锁文章
隔壁老杨hongs
关注
专栏目录
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1728
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
spark源码系列03-任务提交01
李孟的博客
04-30 706
用spark版本1.3+ val conf=new SparkConf().setAppName("WordCount") val sc=new SparkContext(conf) //构建RDD并调用Transformation //textFile创建一个hadoopRdd，产生一个MapPartitionsRDD //flatMap 产生一个...
Spark源码分析-takeSample源码分析
things_use的博客
04-21 345
1.参数说明 withReplacement:是否是有放回的抽样，就是普通的抽样，我们都是抽过的数据就不能在抽样了，有放回抽样就是可以继续抽以前抽取过的。 num:数据抽样的个数 2.执行源码流程 执行流程主要是调用了RDD的takeSample方法，下面先贴上这个方法的代码： def takeSample( withReplacement: Boole...
spark top takeOrdered 源码解析
09-23 311
  RDD 中上面的注释写具体的操作 调用takeOrdered    /** * Returns the top k (largest) elements from this RDD as defined by the specified * implicit Ordering[T] and maintains the ordering. This does the opposite...
Take 原理-源码(spark3.0)
啊李
09-01 272
take方法中有一个while循环，在首次循环中，会启动一个job来获取第一个分区的数据，如果第一个分区的数据已经满足了条件直接返回数组，如果第一个分区不满足条件，那么会再次循环；会通过partsScanned(会记录已经执行的分区数) 和RDD_LIMIT_SCALE_UP_FACTOR两个参数决定下次执行job会遍历哪些分区 /** * Take the first num elements of the RDD. It works by first scanning on...
Spark之takeOrderd算子
qq_34341930的博客
05-05 824
takeOrdered： def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T] takeOrdered函数与take类似，它返回结果的顺序与take函数相反。 scala> val a = sc.parallelize(Array(2,5,6,8,9)) a: org.apache.spark.rdd....
Spark行动算子(Action)--take算子
寒暄的博客
08-04 1493
语法 Rdd. take(n) 源码 def take(num : scala.Int) : scala.Array[T] = { /* compiled code */ } 作用 返回RDD中的前n个元素。 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object oper { def main(args: Array[String]
spark源码阅读二-spark application运行过程
David的专栏
08-02 1177
本篇文章主要讲述一个application的运行过程。 大体分为三部分：（1）SparkConf创建；（2）SparkContext创建；（3）任务执行。
spark常用RDD算子 - take()，takeOrdered()，top()，first()
小哇
07-28 3508
take()，takeOrdered()，top() 返回一个列表，first()返回一个值 take def take(num: Int): Array[T] take用于获取RDD中从0到num-1下标的元素，不排序。 top def top(num: Int)(implicit ord: Ordering[T]): Array[T] top函数用于从RDD中，按照默认（降序）或者指定的排序规则，返回前num个元素。 takeOrdered def takeOrdered(n..
Learning Spark 笔记(三) -- take和persist
BlockheadLS的博客
08-29 1348
4 . take(n)试图最小化访问分区，此操作并不一定以期待的顺序返回数据。 5 . 当持久化一个RDD的时候，计算这个RDD的节点会保存它们的分区。如果缓存了数据的节点出错了，Spark会在需要的时候重新计算丢失的分区。只有遇到action的时候才会真正的执行持久化操作。默认的持久化操作是将数据存放在JVM中作为非序列化对象。如下面wordcount的例子：val lines = sc.
Spark核心之top、take和takeOrdered
LMR的博客
06-02 1万+
top、take和takeOrdered三种算子都是Spark中的Action操作，当原始数据集太大时，可以采用上述三个算子展示数据，下面分别介绍三个算子： （1）takeOrdered算子 takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T] 关于top算子在源码中的解释如下： /** * Returns the...
Spark常用动作算子 first、take、collect、count、countByValue、reduce、aggregate、fold、takeOrdered（java和scala版本）
xiaoxionghanhan的博客
11-09 650
scala版本 import org.apache.spark.{SparkConf, SparkContext} object ActionRDDScala { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("actionRDD").setMaster("local[2]") val sc = new SparkContext(conf) val rdd = sc.
Spark中使用take截取数据时报错：java.io.NotSerializableException
蚂蚁
08-05 1051
发生场景 在使用Spark读取HBase中的数据时 不使用take函数截取数据时 读取到的HBase中的数据可以正常输出 但是使用take操作截取数据时 就会抛出异常 java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable 发生原因 Spark分为两大角色Driver与Executor...
spark take获取前n个元素
跟我一起去征服
05-03 7878
take和 collect操作类似，都是从远程集群上获取元素，只是collect操作获取的所有数据，而take操作是获取前n个元素 直接上代码： public static void myTake(){         SparkConf conf=new SparkConf()         .setMaster("local")         .setAppName("myTak
Spark-core 行动算子（十）
weixin_45025143的博客
12-26 701
Action 算子详解   上文我们讲过了常用的转换算子，本篇博客记录一下常用的行动算子，那我们开始啦。 Action算子和transformations算子的区别 transformations算子是惰性算子，也就是说它的触发条件不是代码执行到这，而是需要transformations算子的结果后才执行这个算子，transformations也为我们减少了很多非必要的开销。 Action算子是一个触发计算的算子，我们知道Spark是由很多的任务组成，而一个Action便形成了一个新的任务，也及.
Spark算子[15]：sample、takeSample 源码实例详解
热门推荐
行走的树
12-16 2万+
sample返回一个RDD[T]源码：/** * 返回此RDD的抽样子集。 * @note 这并不能保证提供的只是给定[[RDD]]的分数。 */ def sample( withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T] = { requir
Spark collect和take函数学习(RDD-->Array)
写博客只为学习
04-27 1885
[size=large][color=red][b]将RDD转成Scala数组，并返回。[/b][/color][/size] [size=medium][b]函数原型[/b][/size] [code="scala"] def collect(): Array[T] def collect[U: ClassTag](f: PartialFunction[T, U]): RDD...
Spark-Scala语言实战（8）
最新发布
qq_49513817的博客
03-30 1695
​今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的flatMap,take,union三种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
Spark取出(Key,Value)型数据中Value值为前n条数据
dai451954706的专栏
09-26 1万+
Spark对(Key,Value)型数据进行排序，并取出Value值为前n的数据
【spark源码】spark-submit和spark-class
03-16
spark-submit和spark-class都是Spark的命令行工具。 spark-submit是用于提交Spark应用程序的工具，它可以将应用程序打包成jar包或者Python文件，并将其提交到Spark集群上运行。spark-submit还可以指定应用程序的配置参数、依赖库等信息。 spark-class是用于启动Spark应用程序的工具，它可以在本地或者集群上启动Spark应用程序。spark-class还可以指定应用程序的配置参数、依赖库等信息。 总的来说，spark-submit和spark-class都是Spark的重要工具，它们可以帮助开发者方便地提交和启动Spark应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值