搭建HDFS集群应该注意虚拟机的相关配置

关于防火墙

搭建HDFS集群不仅要设置免密登录,还需要关闭防火墙或者开通相应的端口,免密登录是为了让机器通信无障碍,而开通端口或关闭防火墙是为了能让他们通信,否则集群中的虚拟机不能相互通信,导致集群搭建失败

查看防火墙状态:

[root@cluster1 ~]#service iptables status
[root@cluster1 ~]# chkconfig | grep iptables

iptables:未运行防火墙。
暂时开启防火墙:

[root@cluster1 ~]# service iptables start

暂时关闭防火墙:

[root@cluster1 ~]# service iptables stop

永久关闭防火墙(需重启才能生效):

[root@cluster1 ~]# chkconfig iptables off

永久开启防火墙(需重启才能生效):

[root@cluster1 ~]# chkconfig iptables on

关于主机名问题

搭建集群时如果抛出java.net.UnknownHostException异常,原因可能是hostname主机名配置与Hadoop配置中的不一致,需修改Hadoop的配置文件或者hostname
环境变量HOSTNAME也保存了当前的主机名。hostname命令用于显示和暂时设置系统的主机名称。在使用hostname命令设置主机名后,系统重新启还是原来的主机名。如果需要永久修改主机名,需要同时修改/etc/hosts和/etc/sysconfig/network的相关内容

[root@node1 bin]# hostname
node1
[root@node1 bin]# hostname node01
[root@node1 bin]# hostname
node01
[root@localhost home]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.253.128 node01
~                                                                                                                                                                                                                                           
~                                                                                                                                                                                                                                           
~                                                                                                                                                                                                                                           
~                         
[root@localhost home]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node01
~                                                                                                                                                                                                                                           
~                                                                                                                                                                                                                                           
~                

关于虚拟机静态ip配置的一些相关信息

虚拟机中的ip地址是随机分配的,可能一段时间会改变,也可能不会变,为了集群稳定,我们可以配置静态ip。需
将"ONBOOT"设为yes,开机启动
把"BOOTPROTO" 启动协议,因为我们是手动配置IP,所以设置成none或者static
IPADDR 就是我们要设置的ip静态地址
PREFIX=24 前缀是24,其实就是相当于子网掩码有24位
GATEWAY=192.168.253.2 网关
DNS1=8.8.8.8 DNS服务器

[root@localhost home]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
HWADDR=00:0C:29:27:CE:A2
TYPE=Ethernet
UUID=24f8f065-5be5-4dc0-a1db-03afb0c2e3c1
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none

IPADDR=192.168.253.128
PREFIX=24
GATEWAY=192.168.253.2
DNS1=8.8.8.8                     

关于主备节点切换失败问题

手动kill掉node01上的节点时,可能会出现node02上的备用NameNode节点不会启动,这可能是因为缺少psmisc导致的
在NameNode所在的节点执行以下命令

[root@node01 ~]# yum -y install psmisc
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值