Spark安装部署

• 一、Spark部署单机

1.创建目录：

 1.1 mkdir  /data/spark

 1.2 下载spark-2.0.0-bin-hadoop2.6版本，解压在cd /data/spark/ 目录下

 1.3  tar -zvxf spark-2.0.0-bin-hadoop2.6.tgz

 1.4  cd /data/spark/spark-2.0.0-bin-hadoop2.6

2.修改配置：

2.1 修改slaves配置，把slaves.template重命名为slaves，该文件中保存的是worker节点信息，作为单机版，只需要写本机的ip就行，比如localhost：

  cp  conf/slaves.template conf/slaves

  vim  conf/slaves

localhost

 

2.2 修改spark-env.sh配置,把spark-env.sh.template 重命名为spark-env.sh：

1. cp  conf/spark-env.sh.template  conf/spark-env.sh

2. vim  conf/spark-env.sh

export SCALA_HOME=/opt/scala/scala-2.11.8/
export JAVA_HOME=/usr/lib/java/jdk1.8.0_60
export SPARK_SSH_OPTS="-p 22"
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=32g

说明：

SPARK_WORKER_MEMORY 配置一个worker角色的内存，根据机器实际空余内存情况配置此处配置为32G

2.3启动spark：

1.  cd /data/spark/spark-2.0.0-bin-hadoop2.6/sbin  

2.  启动master节点：   ./start-master.sh

3 启动worker节点：   ./start-slave.sh

3.  jps //查看是否有work和master进程

单机部署成功

 

二、spark集群搭建：

1、下载spark-2.0.0-bin-hadoop2.6版本，解压在cd /data/spark/ 目录下

2、配置文件修改：

在spark-env.sh文件中，指定SPARK_MASTER_IP，且保证集群中都使用这个master的ip.

export SCALA_HOME=/opt/scala/scala-2.11.8/
export JAVA_HOME=/usr/lib/java/jdk1.8.0_60
export SPARK_SSH_OPTS="-p 22"
export SPARK_MASTER_IP=x01  #作为master节点
export SPARK_WORKER_MEMORY=32g

在slaves文件中添加工作节点

x01
x02
x03

其中x01、x02、x03需要在集群的三台机器的hosts文件中添加

3、把修改好的spark-2.0.0-bin-hadoop2.6，复制到另外两台机器上

4、启动，进入sbin目录下，分开启动

  4.1 在master机器上的，启动master节点    ./start-master.sh 

        启动worker节点   ./start-slave.sh spark://x01:7077

   4.2 在另外两台机器上分别启动worker节点  ./start-slave.sh spark://x01:7077

5、jps查看进程，出现worker和master进程，表示启动成功

 

 

转载于:https://my.oschina.net/u/2874009/blog/733919