Linux安装spark
下载spark
华为源下载
或使用
wget https://mirrors.huaweicloud.com/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
解压spark
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
重命名
mv spark-2.2.0-bin-hadoop2.7 spark
配置环境变量
没有vim,先安装vim
sudo apt-get install vim
修改配置文件
vim .bashrc
往里面添加
export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME/bin:$PATH:$SPARK_HOME:sbin
读取配置文件
source .bashrc
配置spark
复制spark-env.sh
cd ~/spark/conf/
cp spark-env.sh.template spark-env.sh
在spark-env.sh的前面添加
export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop/bin/hadoop classpath)
查看spark是否安装成功
run-example SparkPi 2>&1 | grep "Pi is"
使用spark shell
spark-shell
退出