User class threw exception: java.lang.UnsupportedOperationException: empty collection

最新推荐文章于 2023-12-16 12:04:37 发布

kyue

最新推荐文章于 2023-12-16 12:04:37 发布

阅读量1.2k

点赞数

分类专栏： Spark 文章标签：大数据 spark scala

本文链接：https://blog.csdn.net/qq_39607643/article/details/109061487

版权

在执行Spark Scala代码时遇到了一个异常，错误信息为'User class threw exception: java.lang.UnsupportedOperationException: empty collection'。问题源于尝试访问的表't_sd_xxxx'的生命周期已过，导致该表的分区消失。

摘要由CSDN通过智能技术生成

原因：
spark代码中有访问这个表：t_sd_xxxx
表的生命周期只有十天，然后生命周期把历史的数据清理了
这个表里的分区已经没有了

20/10/13 20:43:36 ERROR ApplicationMaster: User class threw exception: java.lang.UnsupportedOperationException: empty collection
java.lang.UnsupportedOperationException: empty collection
	at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$35.apply(RDD.scala:1004)
	at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$35.apply(RDD.scala:1004)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.rdd