Spark 单机运行环境搭建（3.Python3.6 的安装）

1）先查看 Ubuntu20.04 上已安装的 Python 相关程序文件：

从输出的文件列表可以看出，python3 实际是一个软链接文件，指向 python3.8 执行程

序。我们可以分别运行 python3 和 python3.8 命令，以确认它们是否为同一个：

2）现在面临两个选择，一是将系统默认安装的 Python3.8 卸载替换成 Python3.6，这

种做法存在一定风险，因为可能影响到其它一些程序的使用。还有一种做法，就是在系统中

同时保留多个 Python 版本，然后根据实际需要切换使用（有现成工具辅助 Python 的多版本

管理）。这里准备采取第二种做法，即保留预装的 Python3.8，另外安装一个 Python3.6 运

行环境到系统中。

在安装 Python3.6 之前，先执行一下 apt 软件源的更新工作：

3）由于 Ubuntu 软件源不含 Python3.6 的预编译版本，所以就要使用一个非常优秀的第

三方软件源 Deadsnakes PPA。请按照下面步骤将其安装进来。

3）现在可以开始安装 Python 3.6，安装完毕查看一下 Python3.6 的启动程序。

注意到，当 Python3.6 成功安装后，在/usr/bin 目录中会多出两个执行程序，即

python3.6 和 python3.6m，其中后者在内存分配方式上做了优化，实际使用时任选其一即可。

在介绍 SparkShell 时，曾经提到过 Spark 有一个名为 pyspark 的交互式编程工具，它

要求在 Python 语言的运行环境中才能使用。为了使得 pyspark 脚本能够找到正确的 Python

运行环境，可以在运行脚本之前设置一下 PYSPARK_PYTHON 的环境变量。为方便起见我们将 其添加到/etc/profile 文件（或者在 Spark 中的 spark-env.sh 文件配置也可以）：