Hadoop安装中的一些问题

最新推荐文章于 2022-10-24 20:52:11 发布

weixin_44023894

最新推荐文章于 2022-10-24 20:52:11 发布

阅读量460

点赞数

文章标签： hadoop 安装错误

1、hdfs namenode -format 时出现如下报错

18/08/01 11:04:01 WARN namenode.NameNode: Encountered exception during format:  java.io.IOException: Cannot create directory
/home/zkpk/hadoopdata/dfs/name/current at
org.apache.hadoop.hdfs.server.common.Storage $S t o r a g e D i r e c t o r y . c l e a r D i r e c t o r y (S t o r a g e . j a v a : 334) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N N S t o r a g e . f o r m a t (N N S t o r a g e . j a v a : 546) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N N S t o r a g e . f o r m a t (N N S t o r a g e . j a v a : 567) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . F S I m a g e . f o r m a t (F S I m a g e . j a v a : 148) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N a m e N o d e . f o r m a t (N a m e N o d e . j a v a : 926) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N a m e N o d e . c r e a t e N a m e N o d e (N a m e N o d e . j a v a : 1354) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N a m e N o d e . m a i n (N a m e N o d e . j a v a : 1473) 18 / 08 / 0111 : 04 : 01 F A T A L n a m e n o d e . N a m e N o d e : E x c e p t i o n i n n a m e n o d e j o i n j a v a . i o . I O E x c e p t i o n : C a n n o t c r e a t e d i r e c t o r y / h o m e / z k p k / h a d o o p d a t a / d f s / n a m e / c u r r e n t a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . c o m m o n . S t o r a g e$ StorageDirectory.clearDirectory(Storage.java:334)
at
org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:546)
at
org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:567)
at
org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:148)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:926)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1354)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1473)
18/08/01 11:04:01 INFO util.ExitUtil: Exiting with status 1 18/08/01
11:04:01 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.2.3
************************************************************/

原因分析：根据报错，我这里是由于Hadoopdata这个目录无法创建，原因是core-site.xml中定义data的问题

防火墙等原因也能导致出现此错误

2、start-all.sh 后slave的DataNode没有启动

参考：https://blog.csdn.net/baidu_16757561/article/details/53698746

分析思路：在slave上查看日志 logs/hadoop-xdl-datanode-slave1.log, 然后具体问题具体分析

例：其中两处异常，报/home/zkpk/hadoopdata/dfs/data无效，查看core-site.xml，是定义错误，改正后重新启动成功

3、Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

参考：https://blog.csdn.net/dai451954706/article/details/50464036
问题描述：启动集群成功后，找了个测试任务测试执行，出现上图所示错误，日志中没有任何报错，我去。

解决方式：网上找了找，有个能解决的，需要在yarn-site.xml中设置关于内存和虚拟内存的配置项．（注：主备都需配置）
然后重新启动集群（stop-all.sh && start-all.sh）。

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

4、start-all.sh后， jps报process information unavailable

在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailable这样的空值，有时候不用管它，一段时间后会自动消失，如果一直不消失的情况下，可以使用如下方法清理：

进入/tmp目录 cd /tmp 可以看到有很多以hsperfdata_{用户名}这样的目录，比如：hsperfdata_hbase，hsperfdata_kafka，hsperfdata_root这样的目录，是因为进程虽然在内存中关闭了，但是Linux还会在/tmp下寻找这些临时文件，而此时临时文件并没有没正常删除，这时候直接执行 rm -rf hsperfdata_* 删除这些目录，然后再次执行 jps 查看，以上那些进程就不存在了，

总的来说直接执行 rm -rf /tmp/hsperfdata_* 可以快速清除那些残留进程

如果有很多正常运行的进程时，其中夹杂部分残留进程，这个时候不建议全部删除上面的目录，这时候要根据目录和进程的对应关系分析出残留的单个目录来删除无用的进程即可

原文：https://blog.csdn.net/locker_c/article/details/81327718