hadoop管理时遇到的问题［备忘］

最新推荐文章于 2024-04-20 21:51:26 发布

kangquan2008

最新推荐文章于 2024-04-20 21:51:26 发布

阅读量837

点赞数

分类专栏：高性能及分布式计算[hadoop] 文章标签： hadoop user kill 集群测试

本文链接：https://blog.csdn.net/huangkq1989/article/details/7071527

版权

高性能及分布式计算[hadoop] 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.Hadoop缺省端口列表

Daemon Default                    PortConfiguration                          Parameter
Namenode                                 50070                              dfs.http.address
Datanodes                                50075                              dfs.datanode.http.address
Secondarynamenode                        50090                              dfs.secondary.http.address
Backup/Checkpoint node                   50105                              dfs.backup.http.address
MR Jobracker                             50030                              mapred.job.tracker.http.address
Tasktrackers                             50060                              mapred.task.tracker.http.address

2.jps 无法正常显示进程
之前在跑的测试集群正常，但过了几天登录发现用jps无法显示进程，但实质上进程是有在跑的，用netstat -nlap | grep 500可以查看到1.中端口。

我只好用kill将各进程删掉。

3.namenode 无法重新格式化，报 re-format aborted将 /tmp/hadoop-${user}/dfs/的name文件夹删了就可以重新格式化了。
但启动时发现 datanode无法启动，报：
2011-12-14 19:49:09,243 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-zhqxu/dfs/data: namenode namespaceID = 1284933423; datanode namespaceID = 2063509211
也就是说datanode和namenode的namespaceID，这时将namenode的 /tmp/hadoop-${user}/dfs/的name文件夹和所有datanode的 /tmp/hadoop-${user}/dfs/data删了，重新格式化，再重启。