Spark
班班v
努力工作,好好生活
展开
-
Spark启动报错Exception in thread “streaming-start“ java.lang.StackOverflowError
SparkStream提交任务的时候,在客户那里报了一个异常:Exception in thread “streaming-start” java.lang.StackOverflowError,详细的错误如图所示: 业务的模型是:先把数据发送到Kafka,然后SparkStream从Kafka中读取数据,就只是在启动的时候报错,经过分析,我们的原因是:第一次批量处理的数据太多,jvm堆栈没有及时回收垃圾,也可能是由于堆栈太小导致的,我们的做法是调整dirver的jvm的参数,如下所示: 详细的启动脚本原创 2022-05-24 09:58:47 · 454 阅读 · 0 评论 -
CDH升级Spark2提交任务异常org/apache/hadoop/fs/FSDataInputStream
CDH集群在启动Spark应用的时候报了一个错误:java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream,详细的错误如下: [root@hadoop60 ~]# spark2-submit Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apach原创 2022-05-22 21:48:02 · 1057 阅读 · 0 评论 -
CDH Spark2 The CSD version is not compatible with the current
在替换Spark2.1到Spark2.2的时候,按照网上的教程操作了一遍,遇到了一个小问题,启动的时候日志包了一个小错误:The CSD version (2.1.0.cloudera3) is not compatible with the current,耗了一段时间,是关于CSD包的问题。 Spark2.1与Spark2.2版本用到的CSD包不一样,我在官网下载,并且在CM节点/opt/cloudera/csd目录替换了,每次启动Spark History Server的时候,都报同样的错误。我找了好原创 2021-12-06 20:34:21 · 170 阅读 · 0 评论