dolphinScheduler跑spark任务调度问题汇总

问题1：ods层表需要使用json序列化和反序列化，需要2个jar包的依赖支持。

在服务器上运行，需要将上图两个jar包放到HDFS上目录上和spark安装路径里面的jar包文件夹下/opt/installs/spark/jars/，HDFS目录参考下图自己配置文件的路径中的

/opt/installs/spark/conf/spark-env.sh

解决参考：pycharm运行spark任务报错-CSDN博客

如果这个配置没有，参考文章配置一下即可

运行Spark任务时解决WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set_warn client: neither spark.yarn.jars nor spark.yar-CSDN博客

问题2：dolphinScheduler报错日志

报错：python3找不到

解决方案：配置参考下图

/opt/installs/dolphinscheduler_installed/conf/env/dolphinscheduler_env.sh

问题3：spark-submit命令找不到

解决方案：

分发spark安装包到各个节点，因为ds的worker涉及到hadoop11-13，都需要有spark-submit提交作业的能力。

问题4：压缩包问题

spark-submit --master yarn --py-files “xxx.zip”  xx.py

解决方案：

如果在windows压缩，可能有问题。推荐在linux上压缩。