hadoop遇到的问题集(不定时更新)

1.用hadoop用户(非root用户)执行hadoop namenode -format时遇到
ERROR namenode.NameNode: java.io.IOException: Cannot remove current directory: /home/hadoop/hadoop-1.2.1/tmp/dfs/name/current

解决方法：
切换到root用户下执行
chown -R hadoop:hadoop /home/hadoop/hadoop-1.2.1/tmp

sudo chmod -R a+w /home/hadoop/hadoop-1.2.1

2.start-all.sh启动时，datanode无法启动

第一次错误：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hadoop/hadoop-1.2.1/tmp/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxrwx

错误原因：文件夹data不正确权限，应该是rwxr-xr-x，但现在设置的是rwxr-xrwx

解决方法：

cd /home/hadoop/hadoop-1.2.1/tmp/dfs
chmod 755 data

第二次还是报错：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/hadoop/hadoop-1.2.1/tmp/dfs/data: namenode namespaceID = 864621125; datanode namespaceID = 8090478

错误原因：NameNode和DataNode的namespaceID不一致，这个问题一般是由于两次或两次以上的格式化NameNode造成的

有两种方法可以解决，第一种方法是删除DataNode的所有资料（及将集群中每个datanode的/hdfs/data/current中的VERSION删掉，然后执行hadoop namenode -format重启集群，错误消失。<推荐>）；第二种方法是修改每个DataNode的namespaceID（位于/hdfs/data/current/VERSION文件中）<优先>或修改NameNode的namespaceID（位于/hdfs/name/current/VERSION文件中），使其一致。

3.nutch的deploy目录里执行hadoop单击伪分布式模式时，报错：Fetcher: No agents listed in 'http.agent.name' property. 
但是deploy及其子目录下没有找到nutch-site.xml相关的文件可以配置http.agent.name属性
解决方法：
在nutch根目录的conf目录里修改nutch-site.xml,增加
<property>
<name>http.agent.name</name>
<value>nutch</value>
</property>
然后在根目录运行ant后，去deploy运行命令就可以了：bin/crawl urls data3 http://localhost:8983/solr/ 1