基于docker搭建跨主机的spark集群并配置notebook(二)

上一篇文章制作好了docker镜像，现在在两台服务器上部署spark集群

宿主机1IP：192.168.0.21 ；宿主机2IP：192.168.0.30

（一）在宿主机安装weave，使不同宿主机的容器之间能够互相通信

参考： Docker学习笔记 — Weave实现跨主机容器互联

（二）实现宿主机1到宿主机2的ssh免密登录

参考：  CentOS下SSH无密码登录的配置

（三）在宿主机1编写启动12个容器的脚本并启动

#vim docker_start.sh

#!/bin/bash
  weave run 172.16.0.2/24 -itd --name master -p 8090:18090 -p 8998:18998 -p 23233:23233 -p 50070:50070 -p 8080:8080 -p 9000:19000 -p 8088:8088 -p 4040:4040 -p 6066:16066 -p 7077:17077 orient/spark:1.0.2 /root/run.sh
  weave run 172.16.0.3/24 -itd --name node1 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.4/24 -itd --name node2 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.5/24 -itd --name node3 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.6/24 -itd --name node4 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.7/24 -itd --name node5 orientso