Linux安装spark

Linux安装spark

下载spark

华为源下载
或使用

wget https://mirrors.huaweicloud.com/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz

解压spark

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

重命名

mv spark-2.2.0-bin-hadoop2.7 spark

配置环境变量

没有vim，先安装vim

sudo apt-get install vim

修改配置文件

vim .bashrc

往里面添加

export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME/bin:$PATH:$SPARK_HOME:sbin

读取配置文件

source .bashrc

配置spark

复制spark-env.sh

cd ~/spark/conf/
cp spark-env.sh.template spark-env.sh

在spark-env.sh的前面添加

export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop/bin/hadoop classpath)

查看spark是否安装成功

run-example SparkPi 2>&1 | grep "Pi is"

使用spark shell

spark-shell

退出

安装成功