Spark NullPointerException BoundReference.eval BoundAttribute.scala 38

最新推荐文章于 2022-09-06 17:33:24 发布

九师兄

最新推荐文章于 2022-09-06 17:33:24 发布

阅读量811

点赞数

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/98777451

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

博客内容涉及Spark编程中遇到的NullPointerException问题，错误源于BoundReference.eval。通过删除检查点，程序恢复正常，但之后在处理数据时再次出现相同错误。最终定位到问题源于作者的一个函数使用不当。博客分享了错误的SQL示例，提供了正确的解决方案，并进行了源码解读。

摘要由CSDN通过智能技术生成

在这里插入图片描述

19/08/07 17:48:39 ERROR v2.WriteToDataSourceV2Exec: Data source writer org.apache.spark.sql.execution.streaming.sources.InternalRowMicroBatchWriter@37d9405b is aborting.
19/08/07 17:48:39 ERROR v2.WriteToDataSourceV2Exec: Data source writer org.apache.spark.sql.execution.streaming.sources.InternalRowMicroBatchWriter@37d9405b aborted.
19/08/07 17:48:39 ERROR streaming.MicroBatchExecution: Query position_history_out [id = 470c6b06-68f9-4803-994e-d39530202a11, runId = 736bda4d-de69-4432-a811-e703c5234ee7] terminated with error
org.apache.spark.SparkException: Writing job aborted.
	at org.apache.spark.sql.execution.datasources.v2.WriteToDataSourceV2Exec.d

了解本专栏