Spark多版本问题：Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set

一、问题背景

Shell脚本A中编写了提交Spark作业的命令（spark-submit ...），Shell脚本B作为统一调度脚本中间调用了脚本A，但是作业并没有提交yarn，查看日志信息如下：

Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set

二、分析过程

1. 查看Spark当前版本

spark-submit --version

2. 设置默认Spark版本

export SPARK_MAJOR_VERSION=2

3. 启动spark-shell

设置Spark的版本为1.x

设置Spark的版本2.x