Ubuntu 16.04中 Spark安装

准备：首先准备好spark安装包

当然其他版本的也好，但jdk最好是1.8以上

可以使用ubuntu内部网站下载相关安装包，或者在windows下载之后通过ubuntu的客户端传入ubuntu

scala-2.11.12.tgz
spark-2.4.3-bin-hadoop2.7.tgz

Spark安装步骤：

1：需要安装jdk，并配置环境变量

*（注：首先：配置好虚拟机：IP地址）*使用java -version检测
IP地址：可参考链接：https://blog.csdn.net/weixin_44727274/article/details/107265723

2：安装Scala，并配置环境变量

3：安装Spark，配置所要用的Python版本

——————————————————————————————————

1.安装JDK

可参考链接：https://blog.csdn.net/weixin_44727274/article/details/107265723

2.安装Scala

（1）创建文件夹，并赋予文件权限

mkdir /expt/opt
sudo chmod 777 /expt/opt

（2）解压安装包，到指定的目录/expt/opt，并查看

tar zxvf scala-2.11.12.tgz -C /expt/opt

ls -l /expt/opt

（3）创建软连接（方便后续【环境变量配置】的【路径书写】）

ln -s /expt/opt/scala-2.11.12

直接执行上述命令，执行后，ls -l查看结果：

（4）配置scala环境变量

使用vi ~/.bashrc打开.bashrc文件

一直拉到【最后】，添加代码如下：

export SCALA_HOME=~/scala-2.11.12
export PATH=${SCALA_HOME}/bin:$PATH

使用source ~/.bashrc使.bashrc文件配置生效

检测scala是否正确安装

scala -version

3.安装Spark

（1）解压安装包，到指定的目录/expt/opt，并查看

sudo tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /expt/opt

ls -l /expt/opt

（3）创建软连接（方便后续【环境变量配置】的【路径书写】）

ln -s /expt/opt/spark-2.4.3-bin-hadoop2.7

直接执行上述命令，执行后，ls -l查看结果：

（4）配置spark环境变量

使用vi ~/.bashrc打开.bashrc文件

一直拉到【最后】，添加代码如下：

export SPARK_HOME=~/spark-2.4.3-bin-hadoop2.7
export PATH=${SPARK_HOME}/sbin:$PATH 

使用source ~/.bashrc使.bashrc文件配置生效

检测spark是否正确安装

pyspark