spark troubleshooting 之解决算子函数返回NULL导致的问题

最新推荐文章于 2022-11-02 13:49:32 发布
最新推荐文章于 2022-11-02 13:49:32 发布
阅读量383 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mn_kw/article/details/81119061
版权

在算子函数中返回NULL

 

在有些算子函数里面，是需要我们有一个返回值的，但是，有时候，我们可能对某些值，就是不想返回，我们如果直接返回NULL的话，那么这里是不行的，会报错

Scala.Math(NULL),异常

如果碰到某些值，不想要返回值的时候，有一个解决的办法

1. 在返回的时候，返回一些特殊的值，不要返回null,比如“-999”

2.在通过算子获取到一个RDD后，执行filter操作，进行数据过滤，filter内，可以对数据判定，如果是-999，那么就返回false,给过滤掉，就可以了

3. 在filter后，可以使用coalesce算子压缩一下partition的数量

 

mn_kw
关注
Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2218
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
spark之OOM常见问题梳理(一)
写轮眼之大数据
05-19 2084
我想变成那陪着疲倦的你一直看海的小小的白色的椅子。 —王小波 一、Spark报错信息 问题一 1.描述 org.apache.spark.shuffle.FetchFailedException 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 图片 2.报错提示 (1) missing output location org.apache.spark.shuffle.MetadataFetchFailedException: Miss
troubleshooting之解决算子函数返回NULL导致的问题
tianqinglei的博客
09-21 414
在算子函数中，返回null //return actionRDD.mapToPair(new PairFunction() { // // private static final long serialVersionUID = 1L; // // @Override // public Tuple2 call(Row row) throws Exception { // return new
Spark优化-troubleshooting 解决算子函数返回NULL导致问题
u013939918的博客
03-09 425
troubleshooting 解决算子函数返回NULL导致问题 在算子函数中，返回null return actionRDD.mapToPair(new PairFunction() { private static final long serialVersionUID = 1L; @Override public Tuple2 call(Row row)
Spark性能优化-------troubleshooting之解决算子函数返回NULL导致的问题
q954103的博客
03-05 175
大家可以看到，在有些算子函数里面，是需要我们有一个返回值的。但是，有时候，我们可能对某些值，就是不想有什么返回值。我们如果直接返回NULL的话，那么可以不幸的告诉大家，是不行的，会报错的。Scala.Math(NULL)，异常如果碰到你的确是对于某些值，不想要有返回值的话，有一个解决的办法：1、在返回的时候，返回一些特殊的值，不要返回null，比如“-999”2、在通过算子获取到了一个RDD之后，...
第144课：Spark面试经典系列之NULL值问题及序列化错误
tom_8899_li的博客
05-05 855
Spark面试经典系列之NULL值问题及序列化错误1、NULL值问题如何解决？ 2、序列化错误如何解决？一些场景下，我们并不需要返回具体的值，这个时候往往我们会返回NULL值，但是有时候你可能在下一步的RDD操作中要求RDD的元素不能够是NULL值，如果是的话就会抛出异常，此时该如何处理呢？这个时候我们可以在继续返回NULL值的基础上，在下一步要使用的时候通过Option进行模式匹配（Some和N
Spark 算子返回NULL
Shockang的博客
07-25 711
有些场景下并不需要返回具体的值，这时往往会返回 NULL 值，但有时在下一步的 RDD 操作中要求 RDD 的元素不能为 NULL 。 如果是 NULL ，就会抛出异常。
Spark常见问题处理
yuxiang1014的专栏
01-05 1039
1.shuffle reduce端缓冲大小以避免OOM map端的task是不断的输出数据的，数据量可能是很大的。但是，其实reduce端的task，并不是等到map端task将属于自己的那份数据全部写入磁盘文件之后，再去拉取的。map端写一点数据，reduce端task就会拉取一小部分数据，立即进行后面的聚合、算子函数的应用。每次reduece能够拉取多少数据，就由buffer来决定。因为拉取...
Spark 调优技巧总结
GitChat
12-04 559
Spark 是大数据处理必备技术之一，在开发工作中必然会面对性能调优和各种问题故障的处理，那么面试官也最爱在这些方面进行机关枪式的提问，本 Chat 就针对当前实际开发工作中常遇到的热门和冷门问题进行归纳式总结。 在本场 Chat 中，会讲到如下内容： Spark 性能调优：从常规、算子、Shuffle、JVM 四个方面讲解。 Spark 数据倾斜解决方式：从七个方案讲解。 Spark 常见问题...
Spark开发性能调优
vinfly_li的博客
03-01 1万+
Spark开发性能调优 标签（空格分隔）： Spark –Write By Vin 1. 分配资源调优 Spark性能调优的王道就是分配资源,即增加和分配更多的资源对性能速度的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升是成正比的,当公司资源有限,能分配的资源达到顶峰之后,那么才去考虑做其他的调优 如何分配及分配哪些资源 在生产环境中,提交spark作业时...
Spark troubleshooting 1算子返回null错误 2错误持久化以及checkpoint
chixushuchu的博客
12-20 199
问题 在有些算子函数里，我们都需要有返回值。但是，有些可能不需要返回值，但是这时候不能直接返回null,返回null将会导致错误 Scala.Math(NULL) //异常 解决方法 如果不想有返回值，可以在返回的时候，返回一些特殊的值，比如“-999” 获取到rdd之后，对rdd进行filter操作，如果数据是-999的，可以返回false，进行过滤掉 filter之后，使用coalesc...
Spark项目实战-troubleshooting之解决算子函数返回NULL导致的问题
上海一九四三
09-25 244
return actionRDD.mapToPair(new PairFunction<Row, String, Row>() { private static final long serialVersionUID = 1L; @Override public Tuple2<String, Row> call(Row row) throws ...
spark-sumbit返回状态为0的问题
f980548079的专栏
12-05 388
spark是一个实时的分布式计算引擎，在大叔据领域属于后起之秀，表现非凡，但是spark在使用的过程中也存在不少问题，这里主要说一下spark-sumbit的问题。 spark-sumbit是spark提交任务的一个脚本，这个脚本提交的任务可能失败也可能成功，但是spark-sumbit这个脚本总是执行成功的，也就是说我们不能根据spark-sumbit 来判断我们提交的任务是否成功了，这是...
Scala中如何优雅的处理Null
SunnyRivers
08-28 3683
前言 如果在scala代码还在使用ids!=null，可能会被有的人嘲笑，都什么年代了，竟然还有这样的写法，NullPointerException见少了吧？ 不过，据统计： Spark 源代码使用了 821 次 Option 关键字，但它也直接在像if (ids != null)。 Spark 采用混合方式，大部分情况下使用 Option，但个别时候出于性能（这里主要是为了给使用这返回提示信息）原因才使用了null。 一个很好的习惯是当有方法返回值可能为null的时候，使用Option来代替。 什么是Op
spark sql运行select 查询所有字段为null
DR_eamMer的博客
03-22 1602
spark sql运行select 查询所有字段为null描述解决方案 描述 使用spark sql 执行select，查询出来所有字段为null，并且没有报错 解决方案 执行 set spark.sql.hive.convertMetastoreParquet=false
解决 Spark2.X 查询Hive分区表修改后的字段为null？
最新发布
一个写湿的程序猿
11-02 1255
在 Spark 2.3 以后, Spark 增加参数, 设定 ORC 文件使用采用向量化 Reader, 但是会引申由于 Spark SQL 无法与 Hive SQL 采用同一 SerDe 从而对 Parquet/Hive 数据表产生处理上的不同, 因此需要限定如下参数从而让 Spark 使用 Hive 的SerDe.
spark对空值null的处理
weixin_38051945的博客
03-22 5631
spark对空值的处理 方法： dff.show() val map = Map("age"->30l) dff.na.fill(map).show() 对指定的列进行空值填充 这是原本的打印信息： ±—±------+ | age| name| ±—±------+ |null|Michael| | 30| Andy| | 19| Justin| ±—±------+ 这是...
SparkSQLExample.scala官方范例学习
naruto00001的专栏
03-19 1762
$ bin/spark-shell --master local[4]scala> spark.baseRelationToDataFrame   conf              emptyDataFrame   implicits         range        sparkContext   stop      time      catalog               ...
Spark SQL 函数全集
热门推荐
Liam's Blog (AI & BigData)
03-23 4万+
Summary org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。 version 2.3.0 大部分支持Colum...
解决Kerberos委派问题指南
在这篇名为“Troubleshooting Kerberos Delegation”的技术文档中，重点讨论了Kerberos协议在身份验证过程中的委派问题。Kerberos是一种广泛用于网络身份验证的安全协议，它允许用户在一个安全域内进行单一登录，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值