hadoop常见问题处理

最新推荐文章于 2023-02-27 16:45:16 发布

textboy

最新推荐文章于 2023-02-27 16:45:16 发布

阅读量911

点赞数

分类专栏： BigData&Cloud 文章标签： hadoop clusterID

本文链接：https://blog.csdn.net/textboy/article/details/50957001

版权

BigData&Cloud 专栏收录该内容

37 篇文章 0 订阅

订阅专栏

Q:
hadoop fs -ls /
log: FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000. Exiting. java.io.IOException: All specified directories are failed to load.

A:
原因：在使用格式化namenode(command: hadoop namenode -format)，会导致datanode和namenode的clusterID不一致.
解决：
（1）根据日志中的路径
vi /appl/hadoop-2.7.0/tmp/dfs/name/current/VERSION
clusterID=CID-37b1b589-5d3b-4148-bd03-64d2163278d8
vi /appl/hadoop-2.7.0/tmp/dfs/data/current/VERSION
将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，目的是让两个保持一致。然后重启。

（2）启动hadoop
sh start-dfs.sh
sh start-yarn.sh
log：/appl/hadoop-2.7.0/logs

（3）测试
hadoop fs -mkdir hdfs://localhost:9000/test/
fs -mkdir test01
hadoop fs -ls /
drwxr-xr-x - root supergroup 0 2016-03-22 17:34 /test
drwxr-xr-x - root supergroup 0 2016-03-22 17:36 /test01