图文+代码讲解spark-2.1.0集群搭建

本文详细介绍了如何在 Spark 2.1.0 中搭建集群,包括修改主机名和域名解析,解压缩Spark,配置slaves文件,设置master和worker节点,以及启动和验证集群的正确运行。通过这个过程,读者可以了解到完整的集群部署步骤。
摘要由CSDN通过智能技术生成

集群如下:

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2

1 .修改主机名及域名解析

    1.1 修改主机名

[root@master ~]# vim /etc/hostname

    输入master

     同理在192.168.188.112和192.168.188.113分别修改为slave1和slave2.

    1.2 修改域名hosts

[root@master ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2


2.配置spark-2.1.0

   2.1 解压缩spark

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值