spark structured straming: ExitCodeException exitCode=1

最新推荐文章于 2024-03-01 12:37:58 发布

九师兄

最新推荐文章于 2024-03-01 12:37:58 发布

阅读量1k

点赞数

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/100575852

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

博客详细讨论了遇到的一个错误，即在使用SPARK2.3.0.cloudera4-1.cdh5.12.2版本运行代码时，由于客户端使用的Spark版本为2.2.0.cloudera4-1.cdh5.13.3，导致ExitCodeException退出码为1的问题。

摘要由CSDN通过智能技术生成

在这里插入图片描述

[deploy@fideploy ~]$ spark2-submit --keytab /etc/security/keytabs/hdfs.keytab --principal hdfs@HADOOP.COM  --conf spark.driver.host=192.168.xxx.xx --class com.dtwave.cheetah.node.spark.structured.streaming.StructureStreamingExecutor --name A --master yarn --deploy-mode client --queue root.default /opt/workspace/cheetah-node/libs/spark-structured-streaming.jar  deploy-mode=client  task-protocol=/data/cheetah-node/codes/T_6187457675022950_20190906110712_2_1/stream_info   yarn-address=cdh-node1.dev.dtwave.local:8032
WARNING: User-defined SPARK_HOME (/opt/cloudera/parcels/SPARK2-2.2.0.cloudera4-1.cdh5.13.3.p0.603055/lib/spark2) overrides detected

了解本专栏