Spark作业如何在无管理权限的集群部署Python或JDK

如果下面文章格式或图片不清晰，请参见原文：https://www.iteblog.com/archives/2296.html 或直接点击下面 阅读原文 即可进入。

在 《如何在Spark、MapReduce和Flink程序里面指定JAVA_HOME》文章中我简单地介绍了如何自己指定 JAVA_HOME 。有些人可能注意到了，上面设置的方法有个前提就是要求集群的所有节点的同一路径下都安装部署好了 JDK，这样才没问题。但是在现实情况下，我们需要的 JDK 版本可能并没有在集群上安装，这个时候咋办？是不是就没办法呢？答案肯定不是，本文就是介绍如何解决这种问题的。下面我以 Python 和 JDK 为例进行说明。

如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

如何在没有管理权限的集群上部署 Python

由于某些原因，我们的程序可能会使用到 anaconda。Anaconda 是一个 Python 发行版，用于科学计算和信号处理等领域，支持 Linux, Mac, Windows, 包含了众多流行科学计算、数据分析等Python 包。其中包含大量第三方工具包，简单来说，就是安装了Anaconda，就安装了python、conda和一般可能用到的numpy、scipy、pandas等等常见的科学计算包，而无需再单独下载配置。

但是我们的集群上面可能并没有安装我们需要的 Anaconda，而且悲剧的是，我们也没有集群节点的管理权限！所以我们无法在集群上安装我们需要的 Anaconda，这时候你提交 Spark 作业会出现了以下的异常：

很显然，上面爆出的 node1.iteblog.com 节点的 /home/iteblog/anaconda2/bin/python 路径下找不到我们需要的 Python！因为我们只在客户机的 /home/iteblog/anaconda2/bin/python 下面安装配置好 Python，所以肯定会出现上面的异常。

下面我来介绍如何解决这个问题。我们只需要将客户机上面部署好的 anaconda 打包：

就这么简单，现在我们在所有运行这个作业的 Work 节点上安装了 anaconda！现在我们就可以在 Work 节点上使用我们需要的 anaconda 版本。是不是很酷啊。另外，在 yarn-client 模式，我们通过指定 spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2.tar.gz/anaconda2/bin/python 也是没问题的。

上面例子中，我们通过指定 spark.yarn.dist.archives 配置，将 Anaconda 的安装包分发到所有 Executor 的工作目录下；当 tar.gz 格式的压缩包到达 Executor 节点上，Executor会自动解压这个压缩包，假设 anaconda2.tar.gz 解压后的目录为 anaconda2，这时候我们的 Python 路径就是： ./anaconda2.tar.gz/anaconda2/bin/python，所以我们的程序就没问题了。

如何在没有管理权限的集群上部署 Java

在没有管理权限的集群上部署 Java，原理和上面的一致。  这里假设我们需要使用 jdk1.8.0_77， 而我们的集群节点上并没有安装这个版本的 JDK，这时候我们可以先压缩好 jdk1.8.0_77：

这样这个提交的作业使用的 Java 版本就是 jdk1.8.0_77！

猜你喜欢

欢迎关注本公众号：iteblog_hadoop:

0、回复 电子书 获取 本站所有可下载的电子书

1、SparkRDMA:使用RDMA技术提升Spark的Shuffle性能

2、流计算框架 Flink 与 Storm 的性能对比

3、Apache Spark 2.2.0新特性详细介绍

4、干货 | Spark SQL：过去，现在以及未来

5、Apache Spark 黑名单(Blacklist)机制介绍

6、美团点评数据平台融合实践

7、干货 | Apache Spark最佳实践

8、NodeManager节点自身健康状态检测机制

9、[干货]大规模数据处理的演变(2003-2017)

10、Apache Flink 1.3.0正式发布及其新功能介绍

11、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop)

12、Flink中文文档： http://flink.iteblog.com