1. 又一个问题,执行 bin/hadoop fs -ls .
返回描述说 No FileSystem for scheme: hfs
我一直没注意到后面的hfs, 网上查到的也都是hdfs或是其他的,后来看到有的文章提到配置文件,才想到是不是配置文件配错了,惊觉hfs可能应该是hdfs,我少写了字母才导致了这个问题,找到配置的文件,检查后果然是这个原因,改过来,好了!
2.又一个问题:执行bin/hadoop fs -ls <某个文件夹> 命令总是出现该文件夹不存在的提示,后来才知道是hadoop的文件系统跟本地目录文件系统不是一个概念,这点早该知道的,基础没学好
又一个问题:在前述问题都解决后,执行mapreduce指南中的wordcount例子,提示16/12/19 20:01:15 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032
一直没明白是为什么,后来尝试关闭hadoop重新用start-all.sh而不是start-dfs.sh打开,问题就解决了,任务顺利执行,start-all除了打开dfs,还打开了yarn,需要了解一下yarn到底是作什么用的。
3.昨天晚上关机前还是正常运行的hadoop,今天早上就不行了,运行hadoop fs -ls /input 提示java.net.ConnectException: Connection refused
不知原因为何,是否与网络连接有关?之前是在家里,现在是在图书馆
命令行提示是说参考 https://wiki.apache.org/hadoop/ConnectionRefused
文章大概说的都是检查网络和服务,我telnet localhost 9000也没成功,后来重新格式化了format,起来了,
bin/hdfs namenode -format,
然后每次重启都会发生同样的问题,参考http://blog.csdn.net/jediael_lu/article/details/37598727
说是hadoop默认配置把一些tmp文件放在/tmp下,重启系统后该文件夹会被清空,所以需要重新格式化namenode,会重新在里头生成一些东西,然后才能用。按它的解决方法试了,可以,不过我用的路径不同/Users/lishengda/soft/hadoop-2.7.0/logs/tmp