java spark使用flatMap或flatMapToPair报错空指针

最新推荐文章于 2024-08-21 18:18:50 发布
最新推荐文章于 2024-08-21 18:18:50 发布
阅读量748 收藏
点赞数 1
文章标签： spark 大数据 java
原文链接：https://blog.csdn.net/why_adon/article/details/108273544
版权
本文解析了在Java版Spark中使用flatMap时遇到的空指针异常，重点在于理解为何返回null会导致错误，并提供了正确的代码修复，确保了空值情况下返回非空迭代器。通过实例展示了如何避免空指针异常并成功计数操作。
摘要由CSDN通过智能技术生成

java版spark使用faltmap时报空指针错误，错误如下：

20/08/28 09:41:44 INFO DAGScheduler: ResultStage 0 (count at TestJob.java:252) failed in 3.500 s due to Job aborted due to stage failure: Task 299 in stage 0.0 failed 1 times, most recent failure: Lost task 299.0 in stage 0.0 (TID 299, localhost, executor driver): java.lang.NullPointerException
	at scala.collection.convert.Wrappers$JIteratorWrapper.hasNext(Wrappers.scala:42)
	at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:439)
	at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1817)
	at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1168)
	at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1168)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2113)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2113)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
	at org.apache.spark.scheduler.Task.run(Task.scala:121)
	at org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
 
Driver stacktrace:
20/08/28 09:41:44 INFO DAGScheduler: Job 0 failed: count at TestJob.java:252, took 3.555955 s
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 299 in stage 0.0 failed 1 times, most recent failure: Lost task 299.0 in stage 0.0 (TID 299, localhost, executor driver): java.lang.NullPointerException
	at scala.collection.convert.Wrappers$JIteratorWrapper.hasNext(Wrappers.scala:42)
	at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:439)
	at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1817)
	at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1168)
	at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1168)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2113)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2113)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
	at org.apache.spark.scheduler.Task.run(Task.scala:121)
	at org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
 
Driver stacktrace:
	at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1890)
	at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1878)
	at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1877)
	at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
	at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
	at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1877)
	at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:929)
	at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:929)
	at scala.Option.foreach(Option.scala:257)
	at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:929)
	at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:2111)
	at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2060)
	at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:2049)
	at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:49)
	at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:740)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2073)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2094)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2113)
	at org.apache.spark.SparkContext.runJob(SparkContext.scala:2138)
	at org.apache.spark.rdd.RDD.count(RDD.scala:1168)
	at org.apache.spark.api.java.JavaRDDLike$class.count(JavaRDDLike.scala:455)
	at org.apache.spark.api.java.AbstractJavaRDDLike.count(JavaRDDLike.scala:45)
	at com.TestJob.main(TestJob.java:252)
Caused by: java.lang.NullPointerException
	at scala.collection.convert.Wrappers$JIteratorWrapper.hasNext(Wrappers.scala:42)
	at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:439)
	at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1817)
	at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1168)
	at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1168)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2113)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2113)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
	at org.apache.spark.scheduler.Task.run(Task.scala:121)
	at org.apache.spark.executor.Executor$TaskRunner$$anonfun$11.apply(Executor.scala:407)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:413)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
20/08/28 09:41:44 INFO SparkContext: Invoking stop() from shutdown hook
20/08/28 09:41:44 INFO SparkUI: Stopped Spark web UI at http://DESKTOP-LSJJA44.mshome.net:4040

问题代码如下：

List<Tuple2<Integer, String>> list = new ArrayList<>();
list.add(new Tuple2<Integer, String>(1, "a1"));
list.add(new Tuple2<Integer, String>(2, "a2"));
JavaPairRDD<Integer, String> rdd1 = javaSparkContext.parallelize(list).flatMapToPair(x -> {
    List<Tuple2<Integer, String>> resultList = new ArrayList<>();
    if(x._1().intValue() == 1){
        resultList.add(new Tuple2<Integer, String>(x._1, x._2));
    }
    if(null != resultList && !resultList.isEmpty()){
        return resultList.iterator();
    }
    return null;
});
log.info("rdd1 count: {}", rdd1.count());

问题原因：
在这里插入图片描述

因为flatmap系列的函数默认需要返回一个集合（即使集合为空也要返回一个非空集合的迭代器对象），如果此处有返回null则会报空指针错误

改正后代码：

List<Tuple2<Integer, String>> list = new ArrayList<>();
list.add(new Tuple2<Integer, String>(1, "a1"));
list.add(new Tuple2<Integer, String>(2, "a2"));
JavaPairRDD<Integer, String> rdd1 = javaSparkContext.parallelize(list).flatMapToPair(x -> {
    List<Tuple2<Integer, String>> resultList = new ArrayList<>();
    if(x._1().intValue() == 1){
        resultList.add(new Tuple2<Integer, String>(x._1, x._2));
    }
    return resultList.iterator();
});
log.info("rdd1 count: {}", rdd1.count());

执行结果：

(x._1, x._2));
}
return resultList.iterator();
});
log.info(“rdd1 count: {}”, rdd1.count());


**执行结果：**
![在这里插入图片描述](https://img-blog.csdnimg.cn/8e5060c9bd4446699ed9d3b7eac6d507.png#pic_center)
Garth.
关注
Spark中flatMap的操作
QYHuiiQ
10-20 614
【代码】Spark中flatMap的操作。
java中spark中map、flatmap等算子需要implement的接口，以及使用情况的简单说明
Chenftli的博客
09-10 993
1、spark 的JavaRDD使用map、flatmap、filter等算子时，统一需要implement接口 org.apache.spark.api.java.function.Function 使用方法： JavaRDD<CmaCoreMongoSpark> cma = cmaMongo .filter(new FilterCnMedicalPaperFunc()) .filter(new TimeFilterFunc(startTime, endTime
spark Java flatmap算子的使用
zahuali的博客
05-13 864
将函数应用于 RDD 中的每个元素，将返回的迭代器的所有内容构成新的 RDD。通常用来切分单词 flatmap 输入是一输出是多 直接上代码 输入是文件 文件内容是 flume sd hadoop hbase kylin hdfs hadoop sd sd flume hdfs String logFile = "D:\\ab.txt"; SparkConf conf = new SparkConf().setMaster("local").setAppName("TestSpark"); JavaSpa
JavaRDD 提供了多少种方法来操作数据
最新发布
qq_23827347的博客
08-21 750
Apache Spark 提供了丰富的 API 来操作数据，尤其是在JavaRDD类中。以下是JavaRDD提供的一些常用方法及其用途的总结。
Java Spark算子： flatMap
weixin_44576373的博客
02-19 1811
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.FlatMapFunction; import java....
Spark2 DataSet 创建新行之flatMap
weixin_34388207的博客
11-28 515
val dfList = List(("Hadoop", "Java,SQL,Hive,HBase,MySQL"), ("Spark", "Scala,SQL,DataSet,MLlib,GraphX")) dfList: List[(String, String)] = List((Hadoop,Java,SQL,Hive,HBase,MySQL), (Spark,Scala,SQL,Da...
spark空指针错误可能的原因之一——df.rdd.toDF
自渡
10-11 1916
这空值动不动就Null point error，是个巨大的坑，昨天调试了一天的程序发现，dataframe转rdd进行类似于filter一些的操作，最后count的时候就会报空指针的错误，但是df不转为rdd而是直接df.filter(func)的话，就可以不报错地完美运行。究其根本...待下回分解。 关于spark/Scala的空值处理： https://www.cnblogs.com/wwxbi/p/6011422.html https://blog.csdn.net/u012798083/art
java spark map函数,spark map & flatmap function
weixin_29378273的博客
03-13 674
本篇我们介绍一些spark流式计算的基础概念，并实现一个例子加以说明。spark streamingspark streaming 是以spark为核心的流式处理框架，内部通过批处理的方式对数据加以加工。工作方式： 生态： Dstream:a DStream is represented as a sequence ofRDDs. map和flatmap任何数据在spark中都表示为RDD。ma...
Spark中的map、flatMap、mapToPair
qq_39674417的博客
12-20 801
目录 mapToPairs spark的RDD操作 spark的flatMap flatMap 很显然每一行都按照空格拆分成了三行，因此总行数是拆分前的三倍，第一行的内容只剩下原第一行的第一个数据，时间。这样flatMap的作用就很明显了 spark的map mapToPairs scala版本 scala是没有mapToPair函数的，scala版本只需要map就可以了,只有Java才有！！！！！ scala> val lines = sc.textFile("/spark.
Stream流排序报错空指针问题,nullsFirst,nullsLast
weixin_61503139的博客
01-31 3762
排序报错空指针
再见了，空指针异常(NullPointerException) ，看看有哪些好的实践可以避开它
feel369的博客
12-17 470
1. 快速介绍 空指针异常，只有大家写过业务系统，一定对它不陌生。它是一个运行时错误，一般而言常见逻辑不严谨、懒散的代码风格导致。它的原因理解起来很简单，但是要避免它却不是一件容易的事。下面我记录了一些我认为比较好的实践，这些实践帮助我避免空指针异常的同时，也间接地提升了我的代码质量和工作效率。这些内容一部分来自我在 Kindle 上读过的书籍，一部分来自 StackOverflow 的建议和我自己实践的感受，这里记录下来，希望可以给大家带来一些启发。 2. 问题定义 假设一个这样的业务系统：一个任务
Java 8 Collectors.toMap NullPointerException问题
浊酒入清梦的博客
03-20 2025
报错代码 public static <T, K, U> Map<K, U> toMap(Collection<T> collection, Function<? super T, ? extends K> keyMapper, Function<? sup...
Spark部分：Java版Wordcount（包括flatmap切割，maptopair转换，reducebykey排序，foreach遍历输出）【Java版纯代码】
wyqwilliam的博客
07-21 1262
package com.bjsxt.scala; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext;...
Spark rdd之mapToPair，flatMapToPair
南风知我意
08-30 960
> scala 无这两个算子，以下是代替方案（麻烦），建议还是转javaRdd吧 > maptoPair = map > flatMapToPair = flatMap + map
解决NullPointerException，优化if...else...
weixin_49622708的博客
04-18 250
在文章的开头，先说下NPE问题，NPE问题就是，我们在开发中经常碰到的NullPointerException.假设我们有两个类，他们的UML类图如下图所示 在这种情况下，有如下代码 user.getAddress().getProvince(); 这种写法，在user为null时，是有可能报NullPointerException异常的。为了解决这个问题，于是采用下面的写法 if(user!=null){ Address address = user.getAddress(); if(
RDD算子中使用之前创建的SparkSession对象时报java.lang.NullPointerException解决方案
TMH_ITBOY的博客
12-29 4254
报错Demo package com.mycase.test import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession object TestSpark { def main(args: Array[String]): Unit = { val spark = SparkSession.buil...
Spark数据类型不同时flatMap()匹配的问题
weixin_45052199的博客
09-22 259
Spark数据类型不同时flatMap()匹配的问题 当我们makeRDD的时候可能会创造不同的数据类型。比如说 val rdd: RDD[Any] = sc.makeRDD(List(List(1, 2), 3, List(4, 5))) 这里就包含了List类型，和整数的类型， 如果这个时候单纯的就按照列表的形式对于整个的List进行flatMap操作的话（形如下面这个代码块） rdd.flatMap( list => { list } ) 就不
spark RDD算子（四）之创建键值对RDD mapToPair，flatMapToPair
qianchun22的博客
11-05 321
章节目录一、mapToPairscala版本Java版本二、flatMapToPairscala版本Java版本 一、mapToPair 案例： 在项目中创建src同级目录in，并在此目录中创建sample.txt文件 sample.txt文件内容如下： aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks scala版本 scala是没有mapToPair函数的，scala版本只需要map就可以了 val conf = new
spark rdd flatmap
07-09
Spark RDD的flatMap操作是一种转换操作，它会将RDD中的每个元素应用于一个函数，并将返回的迭代器中的所有元素展平为一个新的RDD。 具体来说，flatMap操作会对每个输入元素应用一个函数，并将返回的迭代器中的所有元素合并到输出RDD中。这与map操作类似，但不同之处在于flatMap操作的输出是一个扁平化的RDD，而map操作的输出是一个与输入RDD大小相同的RDD。 下面是一个示例，展示了如何在Spark中使用flatMap操作： ```scala val sparkConf = new SparkConf().setAppName("FlatMapExample") val sc = new SparkContext(sparkConf) // 创建一个包含字符串的RDD val inputRDD = sc.parallelize(List("Hello World", "Spark RDD FlatMap")) // 使用flatMap操作对每个字符串进行单词拆分 val wordsRDD = inputRDD.flatMap(line => line.split(" ")) // 打印结果 wordsRDD.collect().foreach(println) ``` 在上述示例中，我们首先创建了一个包含两个字符串的RDD。然后，我们使用flatMap操作将每个字符串拆分为单词，并最终将结果打印出来。 希望这个例子能帮助你理解Spark RDD的flatMap操作。如果你有更多问题，请继续提问！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值