Spark集群运行模式

Spark集群运行模式

spark集群四种运行模式

Local(只需要一台机器)
Standalone(不需要Hadoop集群也可以跑Spark，Spark自带的集群模式)
Yarn
Mesos

1、解压压缩文件到指定目录

[root@node1 software]# tar -zxf spark-1.3.1-bin-hadoop2.4.tgz -C /opt/modules

[root@node1 modules]# mv spark-1.3.1-bin-hadoop2.4 spark-1.3.1 

2、配置salve(Spark从节点)

[root@node1 conf]# mv slaves.template slaves
[root@node1 conf]# vi slaves

node2
node3
node5

3、配置/opt/modules/spark-1.3.1/conf目录下的spark-env.sh文件

#export SPARK_LOCAL_IP=localhost
export JAVA_HOME=/usr/java/jdk1.7.0_79
export SPARK_MASTER_IP=node1
#export SPARK_MASTER_IP=localhost
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g
#export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/nfs/spark/recovery"

export HADOOP_CONF_DIR=/opt/modules/hadoop-2.5.1/etc/hadoop
export YAR