Spark 实践 - RDD 的 join操作之需要注意的事项 - RDD为空的join操作

最新推荐文章于 2024-07-16 23:47:57 发布
最新推荐文章于 2024-07-16 23:47:57 发布
阅读量5.9k 收藏 1
点赞数 1
分类专栏： Spark 文章标签： spark RDD join
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Veechange/article/details/53893759
版权
本文探讨了Spark中RDD的join操作，当其中一个参与join的RDD为空时，结果也会为空。作者通过实际遇到的问题和调试过程，强调了在编写Spark程序时考虑这种情况的重要性，并提供了一个示例来验证这种行为。注意在处理数据时要考虑临界值，避免因为空RDD导致的无声无息的错误。
摘要由CSDN通过智能技术生成

一、简单介绍

       RDD的join操作，如果存在有join的RDD为空，则计算后的结果也将是空的。

二、问题与排错

       原先写好的Spark Driver，运行的好好的，亲测运行的结果与预期也是一致的，但是今天测试人员反映数据不对，有缺少计算出来的数据，嘿，程序员的第一反应（内心）：这是不可能的事情，我自己都测试过了，是不是你自己搞错测试数据了。于是接下来就是一个证明谁错误的过程——找测试人员要了没有计算到的测试数据，然后运行调试，汗——真的没有输出结果，而且程序没有报错，这说明程序语法和环境没有问题，应该是数据处理的业务逻辑出了问题，那就开始找问题吧。

看了运行日志，有所发现：

16/12/26 16:54:20 INFO DAGScheduler: Submitting 2 missing tasks from ResultStage 11 (MapPartitionsRDD[59] at map at MyApplication.scala:91)
最低0.47元/天 解锁文章
初级以上
关注
专栏目录
spark left_outer join 左表有null
Talk Is Cheap
01-19 891
因为join的两个key重名了， 结果是右表的key列。
理解Spark-RDD的Shuffle操作
杨鑫newlife的专栏
04-24 1764
1.Spark中的某些操作会触发称为shuffle的事件。 随机广播是Spark的重新分发数据的机制，因此它可以跨分区进行不同的分组。 这通常涉及跨执行程序和机器复制数据，使得Shuffle成为复杂且昂贵的操作。 2.为了理解在shuffle期间发生的事情，我们可以考虑reduceByKey操作的示例。 reduceByKey操作生成一个新的RDD， 其中单个键的所有值都组合成一个元组 -...
RDD中join的使用详解
zhikanjiani的博客
05-31 4552
JOIN在Spark CORE中的使用 如下需要注意的是：Array后面跟的是一个数组应为：Array(再填写元素) scala> val a = sc.parallelize(Array("A","a1"),("B","b1"),("C","c1"),("D","d1"),("E","e1")) <console>:24: error: too many arguments f...
Spark中的JOIN机制
最新发布
Java/Python大数据成长之路
07-16 1365
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
Spark的RDD操作之Join大全
hellozhxy的博客
08-31 1823
一、RDD的Join操作有哪些？   （一）Join：Join类似于SQL的inner join操作，返回结果是前面和后面集合中配对成功的，过滤掉关联不上的。源代码如下：   /** * Return an RDD containing all pairs of elements with matching keys in `this` and `other`. Each...
Spark的RDD操作之Join大全！
shine
05-15 7005
Spark的RDD操作之Join大全！一、RDD的Join操作有哪些？（一）Join：Join类似于SQL的inner join操作，返回结果是前面和后面集合中配对成功的，过滤掉关联不上的。源代码如下：[plain] view plain copy/**   * Return an RDD containing all pairs of elements with matching keys in...
rdd的join使用
python的博客
07-02 4677
代码如下 package rdd import org.apache.spark.{SparkContext, SparkConf} /** * Created by 汪本成 on 2016/7/2. */ object rddJoin { def main(args: Array[String]) { val conf = new SparkConf().setAp
spark-rdd-APi
12-14
标题：“Spark RDD API”说明了本文档将专注于Apache Spark中弹性分布式数据集（RDD）的API。RDD是Spark的核心概念，它是一个容错的、并行的数据结构，使得用户能够处理大数据集。本文档将基于Scala语言中的RDD实现...
playing-with-spark-rdd:Apache Spark RDD示例
03-21
项目中的"playing-with-spark-rdd-master"可能包含一系列示例代码，展示了如何创建、操作和转换RDD。这些示例可能涵盖以下内容： 1. **创建RDD**：RDD可以通过加载文件（如文本文件、CSV、JSON等）或者通过并行化...
spark-RDD的特性介绍及源码阅读必备基础
04-07
转换操作如`map`、`filter`、`groupBy`和`join`等，它们创建新的RDD但并不立即执行，而是在遇到动作操作如`count`、`collect`或`save`时才触发实际的计算。这是因为转换操作是延迟执行（Lazy Evaluation）的，只有在...
大数据开发之Spark篇----join的不同情况讨论(避免shuffle)
weixin_39702831的博客
11-14 1413
Join如何避免shuffle 在我们使用Spark对数据进行处理的时候最让人头疼的就是业务上复杂的逻辑，而这些逻辑往往不是map算子就能解决的，不是aggragate就是join操作，而这些操作又伴随着shuffle极大地影响了程序执行过程的性能开销。今天我们来讨论下在使用join的时候如何避免shuffle的发生。 一般我们直接使用join的时候都是触发commen join，这种join操作...
Spark源码——RDD中join操作的宽窄依赖探究
qq_37654889的博客
06-16 361
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object JoinDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.getClass.getCanonicalName.init).setMaster("local[*]") val sc =
spark 两个dataFrame之间join 空值操作
善皮之的博客
01-06 3093
spark Join空值操作 开门见山 准备数据: val struct1: StructType = StructType(Seq( StructField("id", IntegerType, true), StructField("name", StringType, true), StructField("age", StringType, ...
[Spark] RDD中JOIN的使用
热门推荐
Cindy的博客
07-13 2万+
JOIN在Spark Core中的使用1. inner joininner join，只返回左右都匹配上的// 启动spark-shell，定义两个rdd，做join操作 [hadoop@hadoop01 ~]$ spark-shell --master local[2] scala&gt; val a = sc.parallelize(Array(("A","a1"),("B","b1"),("...
scala中rdd无法join的问题
微电子学与固体电子学-俞驰
08-10 818
原始代码如下: import org.apache.spark.{SparkConf, SparkContext} import org.apache.log4j.{Level, Logger} object hello { def main(args: Array[String]) { Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN) Logger.getLogger("org.apache.spark")
Spark面试常见问题(一)--RDD基础
钟晚语夕的专栏
05-14 1650
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions   RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。    对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片...
关于Spark中的常见问题及解决方法(4) —— Join操作
Lestat.Z.的博客
03-30 1619
前言 Join和Aggregation操作都可能引起Shuffle，所以这类问题一般具有相似的症状和解决办法。 主要症状 Join stage可能一直在运行，它可能包含一个或者多个task。 该Join stage前后的stage看起来一切正常。 可能的解决方法 许多Join可以被手动或自动）优化到其他类型的连接。 尝试不同的连接顺序也许可以发现较快连接组合，特别是当其中一些连接过滤掉...
Spark-RDD-Scala 算子操作数据源分析
"data01.txt 是一个用于 Spark RDD Scala 算子操作的示例数据文件，包含多行数据，每行数据由四部分组成：姓名、技能领域、在该领域的评分（可能是技能掌握程度）和未知字段。数据涉及多个计算机科学和技术主题，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值