1.下载网址:Apache Downloads(3.2.2版本,两个链接都可以下载)
2.将压缩包从本地上传到虚拟机中(目录可自行选择,我的是在‘/home/hadoop/下载 /’目录下)
3.解压至/usr/local/目录下
解压命令为
sudo tar -zxf/home/hadoop/下载/spark-3.2.2-bin-hadoop2.7.tgz -C/usr/local
4.配置相关环境
在/usr/local/spark-3.2.2-bin-hadoop2.7目录下
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
在spark-env.sh文件中(在第一行添加):
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
.bashrc中:
export SPARK_HOME=/usr/local/spark-3.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
5.更新bashrc
source ~/.bashrc
6.启动检验:
cd /usr/local/spark-3.2.2-bin-hadoop2.7(这条命令必有)
(下面这两条命令二选一)
bin/run-example SparkPi
或者
bin/run-example SparkPi 2>&1 | grep "Pi is"