5、spark standalone模式安装

1、安装scala

1.1解压scala-2.11.0.tgz

tar -zxvf scala-2.11.0.tgz

 

1.2 设置环境变量

export SCALA_HOME=/opt/hadoop/scala-2.11.0

export PATH=$SCALA_HOME/bin:$PATH

 

source /etc/profile命令使其生效

 

 

1.3测试

输入scala -ersion

不报错则安装成功

 

1.4 进入scala脚本

输入scala

 

1.5 将解压好的scala和/etc/profile复制到其他所有节点如：

scp /etc/profile ubuntu0:/etc

 

scp /opt/hadoop/ scala-2.11.0ubuntu0:/opt/hadoop

 

2、安装spark

2.1 解压spark-1.2.1-bin-hadoop2.4.tgz

tar -zxvf spark-1.2.1-bin-hadoop2.4.tgz

 

 

2.2 设置环境变量

export SPARK_HOME=/opt/hadoop/spark-1.2.1-bin-hadoop2.4

export PATH=$SPARK_HOME/bin:$PATH

 

source /etc/profile命令使其生效

 

2.3 配置./conf/slaves

首先将slaves.template拷贝一份

cp slaves.template slaves

修改slaves文件

vi slaves  添加

ubuntu1

ubuntu2

ubuntu0

ubuntu4

ubuntu5

ubuntu6

ubuntu7

ubuntu9

 

2.4 配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

cp spark-env.sh.template spark-env.sh

添加

export JAVA_HOME=/opt/hadoop/jdk1.8.0_20

export SCALA_HOME=/opt/hadoop/scala-2.11.0

export SPARK_MASTER_IP=10.28.23.117

export SPARK_WORKER_MEMORY=3g

export MASTER=spark://10.28.23.117:7077

 

最后将spark-1.2.1-bin-hadoop2.4文件夹拷贝到其他所有结点即可。

 

2.5启动spark

./sbin/start-all.sh

 

验证是否成功

http://10.28.23.117:8080/

出现界面则成功