Hadoop安装中的一些问题

1、hdfs namenode -format 时出现如下报错

18/08/01 11:04:01 WARN namenode.NameNode: Encountered exception during format:  java.io.IOException: Cannot create directory

/home/zkpk/hadoopdata/dfs/name/current at
org.apache.hadoop.hdfs.server.common.Storage S t o r a g e D i r e c t o r y . c l e a r D i r e c t o r y ( S t o r a g e . j a v a : 334 ) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N N S t o r a g e . f o r m a t ( N N S t o r a g e . j a v a : 546 ) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N N S t o r a g e . f o r m a t ( N N S t o r a g e . j a v a : 567 ) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . F S I m a g e . f o r m a t ( F S I m a g e . j a v a : 148 ) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N a m e N o d e . f o r m a t ( N a m e N o d e . j a v a : 926 ) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N a m e N o d e . c r e a t e N a m e N o d e ( N a m e N o d e . j a v a : 1354 ) a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . n a m e n o d e . N a m e N o d e . m a i n ( N a m e N o d e . j a v a : 1473 ) 18 / 08 / 0111 : 04 : 01 F A T A L n a m e n o d e . N a m e N o d e : E x c e p t i o n i n n a m e n o d e j o i n j a v a . i o . I O E x c e p t i o n : C a n n o t c r e a t e d i r e c t o r y / h o m e / z k p k / h a d o o p d a t a / d f s / n a m e / c u r r e n t a t o r g . a p a c h e . h a d o o p . h d f s . s e r v e r . c o m m o n . S t o r a g e StorageDirectory.clearDirectory(Storage.java:334) at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:546) at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:567) at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:148) at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:926) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1354) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1473) 18/08/01 11:04:01 FATAL namenode.NameNode: Exception in namenode join java.io.IOException: Cannot create directory /home/zkpk/hadoopdata/dfs/name/current at org.apache.hadoop.hdfs.server.common.Storage StorageDirectory.clearDirectory(Storage.java:334)atorg.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:546)atorg.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:567)atorg.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:148)atorg.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:926)atorg.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1354)atorg.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1473)18/08/0111:04:01FATALnamenode.NameNode:Exceptioninnamenodejoinjava.io.IOException:Cannotcreatedirectory/home/zkpk/hadoopdata/dfs/name/currentatorg.apache.hadoop.hdfs.server.common.StorageStorageDirectory.clearDirectory(Storage.java:334)
at
org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:546)
at
org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:567)
at
org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:148)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:926)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1354)
at
org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1473)
18/08/01 11:04:01 INFO util.ExitUtil: Exiting with status 1 18/08/01
11:04:01 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.2.3
************************************************************/

原因分析: 根据报错,我这里是由于Hadoopdata这个目录无法创建,原因是core-site.xml中定义data的问题

防火墙等原因也能导致出现此错误

2、start-all.sh 后slave的DataNode没有启动

参考:https://blog.csdn.net/baidu_16757561/article/details/53698746

分析思路:在slave上查看日志 logs/hadoop-xdl-datanode-slave1.log, 然后具体问题具体分析

例:其中两处异常,报/home/zkpk/hadoopdata/dfs/data无效,查看core-site.xml,是定义错误,改正后重新启动成功

3、Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

参考:https://blog.csdn.net/dai451954706/article/details/50464036
问题描述:启动集群成功后,找了个测试任务测试执行,出现上图所示错误,日志中没有任何报错,我去。

解决方式:网上找了找,有个能解决的,需要在yarn-site.xml中设置关于内存和虚拟内存的配置项.(注:主备都需配置)
然后重新启动集群(stop-all.sh && start-all.sh)。

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

4、start-all.sh后 , jps报process information unavailable

在Linux下执行 jps 是快速查看Java程序进程的命令,一般情况下hadoop,hbase,storm等进程都是通过jps查看,有些时候因为进程没有被正常结束,比如资源占用过大时挂掉或者没有结束进程就直接重启计算机,会导致原有进程变为-- process information unavailable这样的空值,有时候不用管它,一段时间后会自动消失,如果一直不消失的情况下,可以使用如下方法清理:

进入/tmp目录 cd /tmp 可以看到有很多以hsperfdata_{用户名}这样的目录,比如:hsperfdata_hbase,hsperfdata_kafka,hsperfdata_root这样的目录,是因为进程虽然在内存中关闭了,但是Linux还会在/tmp下寻找这些临时文件,而此时临时文件并没有没正常删除,这时候直接执行 rm -rf hsperfdata_* 删除这些目录,然后再次执行 jps 查看,以上那些进程就不存在了,

总的来说直接执行 rm -rf /tmp/hsperfdata_* 可以快速清除那些残留进程

如果有很多正常运行的进程时,其中夹杂部分残留进程,这个时候不建议全部删除上面的目录,这时候要根据目录和进程的对应关系分析出残留的单个目录来删除无用的进程即可


原文:https://blog.csdn.net/locker_c/article/details/81327718

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值