安装spark local（单机版）详细

注：安装spark前请先安装jdk

1.安装jdk

输入命令下载jdk1.8：

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

解压：

tar xzf jdk-8u141-linux-x64.tar.gz

配置环境，编辑配置文件：

vim ~/.bashrc

在打开的文件最下端添加：

#注意，请将第一行JAVA_HOME后面的路径改为自己的
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

保存：wq退出后使之生效：

source ~/.bashrc

jdk安装完毕

2.安装spark（local）

官网下载sparkDownloads | Apache Spark

 不过官网下载非常非常慢，可以用清华镜像源Index of /apache/spark

 下载下来是一样的

 解压

tar -zxvf spark-3.3.1-bin-hadoop3.tgz

将解压后的文件移动到/usr/local目录下

sudo mv spark-3.3.1-bin-hadoop3 /usr/local/spark

 配置spark环境变量，打开配置文件

 vim ~/.bashrc

在结尾添加：

export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$PATH

环境变量生效

source ~/.bashrc

进入目录 cd /usr/local/spark/bin

验证

spark—shell

 成功启动！