hadoop-2.7.0 运行中遇到的一些问题

8 篇文章 0 订阅

1. 又一个问题,执行 bin/hadoop fs -ls .

返回描述说 No FileSystem for scheme: hfs

我一直没注意到后面的hfs, 网上查到的也都是hdfs或是其他的,后来看到有的文章提到配置文件,才想到是不是配置文件配错了,惊觉hfs可能应该是hdfs,我少写了字母才导致了这个问题,找到配置的文件,检查后果然是这个原因,改过来,好了!


2.又一个问题:执行bin/hadoop fs -ls <某个文件夹> 命令总是出现该文件夹不存在的提示,后来才知道是hadoop的文件系统跟本地目录文件系统不是一个概念,这点早该知道的,基础没学好


又一个问题:在前述问题都解决后,执行mapreduce指南中的wordcount例子,提示16/12/19 20:01:15 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032

一直没明白是为什么,后来尝试关闭hadoop重新用start-all.sh而不是start-dfs.sh打开,问题就解决了,任务顺利执行,start-all除了打开dfs,还打开了yarn,需要了解一下yarn到底是作什么用的。


3.昨天晚上关机前还是正常运行的hadoop,今天早上就不行了,运行hadoop fs -ls /input 提示java.net.ConnectException: Connection refused

不知原因为何,是否与网络连接有关?之前是在家里,现在是在图书馆

命令行提示是说参考 https://wiki.apache.org/hadoop/ConnectionRefused

文章大概说的都是检查网络和服务,我telnet localhost 9000也没成功,后来重新格式化了format,起来了,

bin/hdfs namenode -format,

然后每次重启都会发生同样的问题,参考http://blog.csdn.net/jediael_lu/article/details/37598727

说是hadoop默认配置把一些tmp文件放在/tmp下,重启系统后该文件夹会被清空,所以需要重新格式化namenode,会重新在里头生成一些东西,然后才能用。按它的解决方法试了,可以,不过我用的路径不同/Users/lishengda/soft/hadoop-2.7.0/logs/tmp


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值