Hadoop WordCount 程序的一些问题级解决办法

本文详细记录了在执行Hadoop WordCount程序时遇到的四个问题及解决方案:1)配置hadoop.tmp.dir解决残留数据冲突;2)确保Namenode启动以避免连接异常;3)检查Datanode状态以关闭安全模式;4)修正yarn.nodemanager.aux-services配置,消除错误。解决这些问题的关键在于查看日志和理解Hadoop进程状态。
摘要由CSDN通过智能技术生成

问题一:"could only be replicated to 0 nodes, instead of 1" 

这个问题遇到两次,第一次通过配置 etc/hadoop/core-site.xml 解决:

     加入:

  <property>
       <name>hadoop.tmp.dir</name>
       <value>/home/kingway/hadoop-2.5.0/tmp</value>
  </property>

第二次是通过删除tmp(上面定义的目录)里的全部内容解决。

原因大概是上次运行的残留数据跟此次的数据同名或命名冲突。


问题二:Call to localhost/127.0.0.1:9000 failed on connection exception:java.net.connectexception

这个连接不是的问题主要是因为namenode没有启动,重新格式话namenode 重新启动就可以了。


<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值