hadoop集群搭建几个问题

Hadoop 集群搭建问题

1.       无法在节点创建datanodesecondarynamenode:

查看日志错误(因为hadoop基于Java开发的,日志信息会显示问题所在启动hadoop时可看问题所在的节点和对应日志存放文件及日志所在文件)

常见原因如下:

(1)      防火墙问题

systemctl disablefirewalld.service #禁止firewall开机启动

(2)      SELinux未设置成disabled

  修改/etc/selinux/config文件

  SELINUX=enforcing改为SELINUX=disabled

(3)      文件权限归属问题

  若是在用户hadoop下配置的hadoop,则在配置hdfs-site.xml等文件路径时,配置的文件路径拥有者必须是   hadoop,否则会出现权限问题

2 出现多个secondarynamenode

    未与master主节点连接成功。查看每个secondary在集群中的通信情况

  1)      ps-l 获取进程号

  2)     natstat -apn -t查看通信情况,若是未与其他namenode或者DataNode建立连接,则它不属于本集群的    secondarynamenode,可用kill和进程号杀死错误的secondarynamenode。

  3)     重启服务

   hadoop-daemon.sh startdatanode —>重启单个datanode服务

3 配置问题

    所有节点配置文件一样,namenode 统一指定一个从节点名,slaves中只能包含所有从节点名称

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值