Failed to set setXIncludeAware(true) for parser
遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致Hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包,重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便,但是这不是一种好习惯,我们应该通过修改CLASSPATH的方式指定jar包路径。
Cannot lock storage /tmp/hadoop-root/dfs/name. The directory isalready locked
这个错误一般是我们在某次配置失败后,hadoop创建该目录,锁定之后失败退出造成的。解决方案就是删除tmp目录下hadoop创建的相关目录,然后重新配置。
localhost Name or service not known
在配置hadoop单节点环 境时,需要利用ssh登录localhost。如果按照网上的方式配置之后还是不能正确登录localhost,并报上述错误,可以检查/etc /sysconfig/network和 /etc/hosts下的localhost名字是否一致。有时在某个文件中localhost是注释掉的。
ls: Cannot access .: No such file or directory.
当 在hadoop中运行ls命令时常会出现这个错误,这个错误是指hdfs文件系统中当前目录为空,并不是指本地文件系统中当前目录为空。当我们使用 hdfs文件系统时,会默认进入/user/username下,这个目录不存在于本地文件系统,而是由hdfs内部管理的一个目录。当我们第一次使用 ls命令时,/user/username下是空的,所以会提示上述错误。当我们添加新的文件之后就不再报该错。
Call to localhost/127.0.0.1:9000 failed on connection exception
当在伪分布式环境下运行wordcount示例时,如果报上述错误说明未启动hadoop,利用start-all.sh脚本启动hadoop环境。
jps命令没有datanode运行
一个原因是执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个 current/VERSION文件,记录namespaceID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那 么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的 namenode的ID,因此就会造成datanode与namenode之间的id不一致。解决方案是清空hadoop的tmp文件,重启格式化 hdfs。
Retrying connect to server: localhost/127.0.0.1:9000
说明hadoop的namenode进程没有启动,导致与namenode无法连接而报错。可以先执行stop-all.sh脚本停止hadoop,然后调用start-all.sh重启hadoop。
jps命令没有namenode运行
一个可能原因是tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失,于是我们得重新配置一个tmp文件目录。可以通过修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chjzh/hadoop_tmp</value>
<description>A base for othertemporary directories.</description>
</property>
然后重新格式化hdfs。
此外,我们可以通过查看hadoop的logs目录下相关namenode日志查看问题来源。datanode不能启动时也可查看日志查找问题来源。
Input path does not exist: hdfs://localhost:9000/user/root/inputfile
运行hadoop程序的时候,输入文件必须先放入hdfs文件系统中,不能是本地文件,如果是本地文件就会报上述找不到文件的错误。解决方案是首先利用put或者copyFromLocal拷贝文件到hdfs中,然后再运行hadoop程序。
提示
利用jps命令查看当前运行的hadoop进程时,和hadoop相关的一系列进程 jobtracker、tasktracker、datanode、namenode和SecondaryNameNode的进程号也是非常接近的,不会 出现上千的差异。如果发现它们的进程号差异过大,则往往会出错,这时可以通过重启解决问题。如果多次重启某些进程依旧没有改变,还可以利用kill -9命令强制杀死进程,然后再重启。
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13