ERROR streaming.StreamExecution: Query topic_lcc [id =xx, runId=xx] terminated with error

最新推荐文章于 2021-09-09 15:42:22 发布

九师兄

最新推荐文章于 2021-09-09 15:42:22 发布

阅读量929

点赞数

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/98083295

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

在将工作从开发测试集群转移到测试集群后，Spark Structured SQL任务遇到错误。尽管代码在原始环境中运行正常，但在测试环境中启动时出现错误。报错信息为'ERROR streaming.StreamExecution: Query topic_lcc [id =xx, runId=xx] terminated with error'。错误可能与不同环境的配置或依赖有关。" 122474374,9344249,深入理解JavaScript箭头函数,"['javascript', '前端开发', '开发语言']

摘要由CSDN通过智能技术生成

1.背景

在这里插入图片描述
spark structured sql 任务启动报错，这个是在一个开发测试集群上是好的，但是移交到测试集群，测试人员进行测试的时候报错。查看程序，感觉没什么问题。

错误如下

19/08/01 17:36:52 WARN consumer.ConsumerConfig: The configuration max.poll.records = 1 was supplied but isn't a known config.
19/08/01 17:36:52 ERROR streaming.StreamExecution: Query topic_lcc [id = fff32e45-d354-4a4f-af2c-106fa9801bd0, runId = 562ca67e-8acd-40eb-9a92-e88a3ed99266] terminated with error
	at org.apache.spark.sql.kafka010.SubscribeStrategy.createConsumer(ConsumerStrategy.scala:63)
	at org.apache.spark.sql.kafka010.KafkaOffsetReader.createConsumer(KafkaOffsetReader.scala:314)
	at

了解本专栏