ambari集群中spark集群执行jar踩的坑

最新推荐文章于 2023-10-20 17:08:38 发布

光圈1001

最新推荐文章于 2023-10-20 17:08:38 发布

阅读量1.2k

点赞数 1

分类专栏： hadoop scala saprk 大数据

本文链接：https://blog.csdn.net/qq_41919284/article/details/83786953

版权

在三台测试服务器上配置Spark集群时遇到了SparkContext初始化失败的问题，导致应用失败。根据错误信息，可能是Scala版本不匹配或依赖包缺失。解决方案包括在IDEA中调整Scala SDK至集群版本，确保集群中包含所有必需的依赖包。此外，文章还讨论了如何正确打包第三方库，引用了相关博客资源作为参考。

摘要由CSDN通过智能技术生成

公司三台测试服务器，测试spark的集群模式是否正常运行遇到的问题：
1.spark运行spark任务遇到的，
SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application.
参考博客：
https://www.cnblogs.com/huanongying/archive/2017/10/12/7655598.html

运行脚本有问题：
sudo -u hdfs /usr/hdp/2.6.5.0-292/spark2/bin/spark-submit \ spark的bin目录下执行
–master yarn \ spark的集群模式
–deploy-mode cluster \ yarn 的模式
–class com.amhy.test.Sprk01 \ 类的全路径
–num-executors 3 \ executor的数量
–driver-memory 512m \ driver的内存
–executor-memory 1g \ executor的内存
–executor-cores 1
/bigdata/jars/scala-yarn.jar \

将submit.py文件修改成可执行文件：
chmod +x 文件名
在这里插入图片描述