在Ubuntu中安装Spark2.2.1

测试一个开源项目需要使用Ubuntu系统，在虚拟机中搭建Spark

前置条件
1、安装jdk-1.8并配置环境变量
2、安装scala-2.10.6并配置环境变量
3、安装hadoop–2.6.5并配置环境变量
4、安装所需要的包

yum –y install openssh-server

下载并安装Spark

tar -xzvf spark-2.2.1-bin-hadoop2.6.tgz

配置环境变量

echo 'export SPARK_HOME=/usr/spark-2.2.1' >> /etc/profile
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> /etc/profile
source /etc/profile

配置Spark

1、在conf目录下复制并重命名 spark-env.sh.template 为 spark-env.sh

cp spark-env.sh.template spark-env.sh

2、在 spark-env.sh 中添加：

export JAVA_HOME=/opt/jdk1.8/
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1G

启动与测试SPARK

1、 启动
$SPARK_HOME/sbin/start-all.sh 2、 测试Spark是否安装成功：$SPARK_HOME/bin/run-example SparkPi