尝试使用dolphinscheduler调度器跑spark任务时,一直报错spark,环境变量异常。
[INFO] 2024-07-30 17:36:04.658 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.spark.SparkTask:[66] - -> welcome to use bigdata scheduling system...
/opt/software/dolphinscheduler-2.0.8-install/data/exec/process/14451333567744/14451413115008_1/3/7/3_7.command: line 12: /bin/spark-submit: No such file or directory
往上看日志发现
得知环境变量不能像官方模板一样配SPARK_HOME,而是要配SPARK_HOME1和SPARK_HOME2(取决于调度器运行时选择的spark版本),最终任务成功运行。