在尝试使用 Spark 提交任务时遇到找不到类的错误。首先，使用 --deploy-mode client 模式运行出现找不到类问题；然后，切换到 cluster 模式运行，导致 Container 以非零退出代码 13 失败。问题的根本原因是 Java 类路径错误，文件被放置在了 test 测试层。解决方法是将类路径修正到 main 方法下的 java 测试层，并重新提交任务。
错误：1. 运行：
spark-submit \
--master yarn \
--deploy-mode client \
--num-executors 3 \
--executor-memory 2G \
--class cn.itcast.conversion.PageConversion \
/export/SparkJar/PageConversion.jar /page_conversion/user_conversion.json
找不到类
2. 运行：
spark-submit \
--master yarn \
--deploy-mode cluster \
--num-executors 3 \
--executor-m
最低0.47元/天 解锁文章
1507
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
