-
一、Spark部署单机
1.创建目录:
1.1 mkdir /data/spark
1.2 下载spark-2.0.0-bin-hadoop2.6版本,解压在cd /data/spark/ 目录下
1.3 tar -zvxf spark-2.0.0-bin-hadoop2.6.tgz
1.4 cd /data/spark/spark-2.0.0-bin-hadoop2.6
2.修改配置:
2.1 修改slaves配置,把slaves.template重命名为slaves,该文件中保存的是worker节点信息,作为单机版,只需要写本机的ip就行,比如localhost:
cp conf/slaves.template conf/slaves
vim conf/slaves
localhost
2.2 修改spark-env.sh配置,把spark-env.sh.template 重命名为spark-env.sh:
1. cp conf/spark-env.sh.template conf/spark-env.sh
2. vim conf/spark-env.sh
export SCALA_HOME=/opt/scala/scala-2.11.8/
export JAVA_HOME=/usr/lib/java/jdk1.8.0_60
export SPARK_SSH_OPTS="-p 22"
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=32g
说明:
SPARK_WORKER_MEMORY 配置一个worker角色的内存,根据机器实际空余内存情况配置此处配置为32G
2.3启动spark:
1. cd /data/spark/spark-2.0.0-bin-hadoop2.6/sbin
2. 启动master节点: ./start-master.sh
3 启动worker节点: ./start-slave.sh
3. jps //查看是否有work和master进程
单机部署成功
二、spark集群搭建:
1、下载spark-2.0.0-bin-hadoop2.6版本,解压在cd /data/spark/ 目录下
2、配置文件修改:
在spark-env.sh文件中,指定SPARK_MASTER_IP,且保证集群中都使用这个master的ip.
export SCALA_HOME=/opt/scala/scala-2.11.8/
export JAVA_HOME=/usr/lib/java/jdk1.8.0_60
export SPARK_SSH_OPTS="-p 22"
export SPARK_MASTER_IP=x01 #作为master节点
export SPARK_WORKER_MEMORY=32g
在slaves文件中添加工作节点
x01
x02
x03
其中x01、x02、x03需要在集群的三台机器的hosts文件中添加
3、把修改好的spark-2.0.0-bin-hadoop2.6,复制到另外两台机器上
4、启动,进入sbin目录下,分开启动
4.1 在master机器上的,启动master节点 ./start-master.sh
启动worker节点 ./start-slave.sh spark://x01:7077
4.2 在另外两台机器上分别启动worker节点 ./start-slave.sh spark://x01:7077
5、jps查看进程,出现worker和master进程,表示启动成功