首先是在安装好了Hadoop的前提下进行Spark的安装,Hadoop的安装与配置见Hadoop环境的配置
(1)下载spark官方下载,选择Pre-build with user provided Apache Hadoop版本
(2)将spark解压缩到/usr/local(我这里将spark存储到/srv/ftp目录下)
使用命令:
tar zvxf /srv/ftp/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local
(3)将spark-2.4.0-bin-without-hadoop重命名为spark
mv spark-2.4.0-bin-without-hadoop/ spark
(4)修改spark位置文件
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh
在后面增加:
然后:wq!保存退出
(5)修改环境变量
vim ~/.bashrc
source ~/.bashrc
然后测试spark是否安装完成
cd /usr/local/spark
bin/run-example SparkPi | grep "Pi is"