spark指定python版本_Spark作业如何在无管理权限的集群部署Python或JDK

在 《如何在Spark、MapReduce和Flink程序里面指定JAVA_HOME》文章中我简单地介绍了如何自己指定 JAVA_HOME 。有些人可能注意到了，上面设置的方法有个前提就是要求集群的所有节点的同一路径下都安装部署好了 JDK，这样才没问题。但是在现实情况下，我们需要的 JDK 版本可能并没有在集群上安装，这个时候咋办？是不是就没办法呢？答案肯定不是，本文就是介绍如何解决这种问题的。下面我以 Python 和 JDK 为例进行说明。

如果想及时了解iteblog_hadoop

如何在没有管理权限的集群上部署 Python

由于某些原因，我们的程序可能会使用到 Anaconda。Anaconda 是一个 Python 发行版，用于科学计算和信号处理等领域，支持 Linux, Mac, Windows, 包含了众多流行科学计算、数据分析等Python 包。其中包含大量第三方工具包，简单来说，就是安装了Anaconda，就安装了python、conda和一般可能用到的numpy、scipy、pandas等等常见的科学计算包，而无需再单独下载配置。

但是我们的集群上面可能并没有安装我们需要的 Anaconda，而且悲剧的是，我们也没有集群节点的管理权限！所以我们无法在集群上安装我们需要的 Anaconda，这时候你提交 17/11/30 09:39:35 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, node1.iteblog.com): java.io.IOException: Cannot run program "/home/iteblog/anaconda2/bin/python": error=2, No such file or directory

at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048)

at org.apache.spark.api.python.PythonWorkerFactory.startDaemon(PythonWorkerFactory.scala:161)

at org.apache.spark.api.python.PythonWorkerFactory.createThroughDaemon(PythonWorkerFactory.scala:87)

at org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:63)

at org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:134)

at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:101)

at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70)

at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:306)

at org.apache.spark.rdd.RDD.iterator(RDD.scala:270)

at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)

at org.apache.spark.scheduler.Task.run(Task.scala:89)

at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

Caused by: java.io.IOException: error=2, No such file or directory

at java.lang.UNIXProcess.forkAndExec(Native Method)

at java.lang.UNIXProcess.(UNIXProcess.java:187)

at java.lang.ProcessImpl.start(ProcessImpl.java:134)

at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029)

... 14 more

很显然，上面爆出的 node1.iteblog.com 节点的 /home/iteblog/anaconda2/bin/python 路径下找不到我们需要的 Python！因为我们只在客户机的 /home/iteblog/anaconda2/bin/python 下面安装配置好 Python，所以肯定会出现上面的异常。

下面我来介绍如何解决这个问题。我们只需要将客户机上面部署好的 anaconda 打包： $ tar -zcf anaconda2.tar.gz anaconda2

然后依次操作如下： export PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python

$SPARK_HOME/bin/pyspark --conf "spark.yarn.dist.archives=/home/iteblog/anaconda2.tar.gz" \

--conf "spark.executorEnv.PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python" \

--master yarn-client

就这么简单，现在我们在所有运行这个作业的 Work 节点上安装了 anaconda！现在我们就可以在 Work 节点上使用我们需要的 anaconda 版本。是不是很酷啊。另外，在 yarn-client 模式，我们通过指定 spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python 也是没问题的。

上面例子中，我们通过指定 spark.yarn.dist.archives 配置，将 Anaconda 的安装包分发到所有 Executor 的工作目录下；当 tar.gz 格式的压缩包到达 Executor 节点上，Executor会自动解压这个压缩包，假设 anaconda2.tar.gz 解压后的目录为 anaconda2，这时候我们的 Python 路径就是： ./anaconda2.tar.gz/anaconda2/bin/python，所以我们的程序就没问题了。

如何在没有管理权限的集群上部署 Java

在没有管理权限的集群上部署 Java，原理和上面的一致。  这里假设我们需要使用 jdk1.8.0_77， 而我们的集群节点上并没有安装这个版本的 JDK，这时候我们可以先压缩好 jdk1.8.0_77： $ tar -zcf jdk1.8.0_77.tar.gz jdk1.8.0_77

然后在提交 $SPARK_HOME/bin/spark-submit --master yarn-cluster \

--conf "spark.yarn.dist.archives=/home/iteblog/jdk1.8.0_77.tar.gz" \

--conf "spark.executorEnv.JAVA_HOME=./jdk1.8.0_77.tar.gz/jdk1.8.0_77" \

--conf "spark.yarn.appMasterEnv.JAVA_HOME=./jdk1.8.0_77.tar.gz/jdk1.8.0_77" \

xxxxx

这样这个提交的作业使用的 Java 版本就是 jdk1.8.0_77！