版本
standalone基于spark独立调度器的集群,分client(任务在那个机子提交,就启动那个Driver)和cluster(随机找台机子启动Driver)
以三台机子构建。每台机子都执行1、2、3个步骤。
1、修改/etc/hosts
192.168.128.137 thutmose3
192.168.128.139 thutmose2
192.168.128.129 thutmose1
2、修改/conf/slave
thutmose1
thutmose2
thutmose3
3、修改spark-env.sh
SPARK_MASTER_HOST=thutmose3
SPARK_MASTER_PORT=8877
在一台机子上启动 ./sbin/start-all.sh 这个命令会让其它机器的worker/master启动
在每台机器上jps 可以看到thutmoe3 master worker thutmose2 worker thutmose1 worker
在thutmose3 可以访问 thutmose3:8080
执行demo实例: