spark集群动态增加worker节点

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Rosen_Luo/article/details/46738165
spark集群有4台机器,集群环境如下:

新增S30这台机器:
1. 先在S30这台机器把spark环境配置好,从M29复制过来,包括:scala,spark程序等
2. 新增的S30到spark-1.3.0-bin-hadoop2.4/sbin目录下直接启动:
start-slave.sh 1 指定master
3. 验证worker是否增加成功:

4. 修改各个机器的slave文件,防止以后启动start-all.sh
展开阅读全文

没有更多推荐了,返回首页