hadoop常见问题及解决方法

本文列举了Hadoop在使用过程中遇到的一些常见错误,包括启动NameNode失败、地址占用、安全模式问题、数据复制失败等,并详细介绍了每个问题的可能原因和解决方法,旨在帮助Hadoop使用者解决问题。
摘要由CSDN通过智能技术生成

遇到问题以后先查看日志,以下是常见的错误情况及解决方法,希望对大家有所帮助。


1、启动hadoop时没有NameNode的可能原因:
(1) NameNode没有格式化
(2) 环境变量配置错误
(3) Ip和hostname绑定失败


2、地址占用
报错:org.apache.hadoop.hdfs.server.namenode.NameNode:Address already in use
解决方法:查找被占用的端口号对应的PID:netstat –tunl
  Pkill-9 PID
  实在不行就killall -9 java


3、safeMode
报错:
bin/hadoop fs -put./input input
put:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot createdirectory /user/root/input. Name node is in safe mode.
hadoop dfsadmin-safemode leave
解决方法:
NameNode在启动的时候首先进入安全模式,如果dataNode丢失的block达到一定的比例1-dfs.safemode.threshold.pct,则系统一直处于安全模式状态,即只读状态。
dfs.safemode.threshold.pct(缺省值0.999f

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值