Hadoop2.7.3全分布式集群搭建

本文介绍了如何在三台机器上搭建Hadoop2.7.3全分布式集群,涵盖Linux环境准备、JDK安装、Hadoop安装及配置,最后进行系统测试,确保HDFS和YARN正常运行。
摘要由CSDN通过智能技术生成

Hadoop的全分布模式最少需要三台机器:一台主节点,两台从节点。全分布模式主要用于生产环境。本节将来介绍一下Hadoop2.x全分布模式的环境搭建过程。

实验环境:

VMware Workstation 14 Pro:https://pan.baidu.com/s/13xFtXXaH_HpbwpOrki78bw

CentOS 7 64位:https://pan.baidu.com/s/11hrNQ4A7argCSVBU7WaAtA

JDK1.8 64位:https://pan.baidu.com/s/1cvaqKgFzkSBOutr6xwqN6w

Hadoop2.7.3:https://pan.baidu.com/s/1Smbw074oNoq1Io23-etMhg

Step 1:Linux环境准备

master:192.168.112.10
slave1:192.168.112.11
slave2:192.168.112.12

.1.关闭每台主机的Selinux防火墙和iptables防火墙:

关闭Selinux:
临时关闭:[root@localhost ~]# setenforce 0
永久关闭:[root@localhost ~]# vi /etc/selinux/config,
修改其中的参数:SELINUX=disabled,按Esc:qw保存退出。
关闭iptables:
安装服务:[root@master ~]# yum -y install iptables-services
临时关闭:[root@master ~]# systemctl stop firewalld.service
永久关闭:[root@master ~]# systemctl disable firewalld.service

2.设置每台主机的IP地址:

编辑网卡配置文件:
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改参数:
  BOOTPROTO=static
  ONBOOT=yes
追加参数:
  IPADDR=192.168.254.113
  NETMASK=255.255.255.0
  GATEWAY=192.168.112.2
  DNS1=8.8.8.8
  DNS2=119.29.29.29
重启网络服务:[root@localhost ~]# systemctl restart network.service
查看配置的IP地址:[root@localhost ~]# ip add 
或者 [root@localhost ~]# ifconfig -a
测试IP是否可用:[root@localhost ~]# curl www.baidu.com 
或者 [root@localhost ~]# ping www.baidu.com

3.设置每台主机的hostname主机名:

方式1:使用hostnamectl命令:

[root@localhost ~]# hostnamectl set-hostname master

方式2:编辑配置文件:
[root@localhost ~]# vi /etc/hostname
清空内容后写入:master
重新登录系统会显示新的主机名:
[root@master ~]#

4.设置每台主机的主机名到IP的映射关系:

[root@master ~]# vi /etc/hosts
192.168.254.113 master
192.168.254.114 slave1
192.168.254.115 slave2

5.测试主机名是否可用:

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值