多台服务器搭建Spark集群

一、设备条件

     阿里云服务器(Master)     1

       * 本机(Slave)                  1

 

二、软件条件

      jdk 1.8:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

       spark 2.4.3:http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

 

三、步骤

  1、在Master的服务器上防火墙中开放7077端口或者关闭防火墙,这样 Slave 才能连接到 Master。

   2、在Master服务器上启动 spark-master。master的启动文件在spark文件夹的sbin文件夹下。我指定了master的IP地址为服务器的内网IP。

 

./sbin/start-master.sh  -h 内网IP

 

    启动成功后可以打开浏览器输入 http://外网IP:8080 , 来查看SparkMaster的信息。XXX.XX.XX.XXX是外网IP,YYY.YY.YY.YYY是内网IP。

            

3、在主机上启动 slave 来为master创建的节点

./start-slave.sh spark://XXX.XX.XX.XXX:7077

  这里 XXX.XX.XX.XXX是外网IP。

  查看 log输出,完成之后,在SparkMaster的webUI页面就会多一个Worker。OK,集群搭建完成

 

  

 

   

转载于:https://www.cnblogs.com/Lyh1997/p/11249620.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值