SPARK动态添加节点

spark集群使用hadoop用户运行,集群机器如下:

1	DEV-HADOOP-01	192.168.9.110	Master
2	DEV-HADOOP-02	192.168.9.111	Worker
3	DEV-HADOOP-03	192.168.9.112	Worker

 

现在需要添加一台192.168.9.113 机器名DEV-HADOOP-04的节点作为Worker.需要执行一下操作:

 

1. 配置Master到新增节点hadoop用户的无密码登录

2. 每个节点添加的/etc/hosts

3. 安装JDK1.8.0_60

4. 安装scala

   1. 从Master拷贝scala scp -r scala-2.11.7 root@192.168.9.113:/data/server/

   2. 设置环境变量 /etc/profile

      1. export SCALA_HOME=/usr/scala/scala-2.11.7

      2. 使配置生效 source /etc/profile

   3. 更改scala-2.11.7的用户和组 chown -R hadoop:hadoop scala-2.11.7

5. 安装spark

   1. 从Master拷贝spark scp -r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/data/server/

   2. 配置环境变量 /etc/profile

      1. export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6

      2. export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

      3. 使配置生效 source /etc/profile

6. 修改集群的slaves配置文件,新增新增节点DEV-HADOOP-03

7. 启动新增节点

   1. sbin/start-slave.sh spark://DEV-HADOOP-01:7077

8. 新增节点启动验证

   1. 执行jps命令,slave可以看到Worker进程

9. 查看Spark UI

   1. 看到Workers中有新增节点