hadoop脚本启动时,错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain

1.问题:

        在使用Hadoop自带脚本时启动hdfs/yarn时出现的问题:mv: 无法获取"/usr/local/apps/hadoop-2.8.1/logs/hadoop-root-datanode-vm001.out.3" 的文件状态(stat): 没有那个文件或目录


    在/usr/local/apps/hadoop-2.8.1/logs/hadoop-root-datanode-vm001.log查看log日志时显示:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain


日志信息:

2018-06-15 08:47:02,657 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain

java.net.BindException: Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用; For more details see:  http://wiki.apache.org/hadoop/BindException
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:801)
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:721)
        at org.apache.hadoop.ipc.Server.bind(Server.java:552)
        at org.apache.hadoop.ipc.Server.bind(Server.java:524)
        at org.apache.hadoop.hdfs.net.TcpPeerServer.<init>(TcpPeerServer.java:52)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:1041)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1294)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:481)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2601)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2489)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2536)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2721)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2745)
Caused by: java.net.BindException: 地址已在使用
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.apache.hadoop.ipc.Server.bind(Server.java:535)

        ... 10 more

2.分析原因:

    Hadoop集群master中的slaves文件未删除localhost;slaves文件所在路径为: /usr/local/apps/hadoop-2.8.1/etc/hadoop/slaves  


3.解决方法:

  在master主机的slaves文件中删除localhost即可。


  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
### 回答1: 这个错误是指在HadoopDataNode节点中发生了异常。具体的错误信息需要查看日志文件来确定。可能是由于安全性设置不正确或者其他配置问题导致的。建议检查Hadoop配置文件和日志文件,以确定问题的根本原因。 ### 回答2: “error org.apache.hadoop.hdfs.server.datanode.datanode: exception in securemain错误通常是由于Hadoop分布式文件系统中的DataNode运行时发生故障而引起的。当DataNode运行时发生任何不可预测的错误时,系统将会抛出一个SecureMain异常,这可能是由于几种原因引起的,包括文件系统的配置错误、网络问题、硬件故障或数据丢失等。 在处理这个错误时,有许多步骤可以采取来尝试解决问题。首先,您可以检查Hadoop配置文件中的设置,确定是否有任何错误或拼写错误。您还可以尝试在DataNode节点上使用命令行工具来测试网络连接,以便确定网络是否正常工作。如果通过测试发现网络有问题,您可以尝试重新配置网络设置或修复硬件故障。 此外,您还可以尝试与Hadoop社区联系,寻求解决办法。许多Hadoop开发人员和用户都会在不同的论坛和社群中分享他们的经验和见解,你可以在这些地方获得更多的建议和支持。最后,如果您仍然无法解决问题,您可能需要考虑重新部署您的Hadoop集群或寻求专业的技术支持。 ### 回答3: 这个错误是在Hadoop分布式文件系统中的数据节点(datanode)上遇到的一个异常。当数据节点尝试启动节点进程时,如果出现任何错误,就会抛出该异常。这个错误通常是由于以下原因导致的: 1.节点配置问题:该错误可能是由于节点的配置不正确而导致的。如果节点在启动过程中遇到配置问题,它就会抛出异常。 2.节点故障:如果节点本身出现问题,例如硬件故障或磁盘故障,那么它也可能会触发这个异常。 3.网络问题:如果由于网络故障而无法连接到其他节点,则数据节点可能无法启动,并抛出异常。 针对这种错误,可以采取以下步骤进行处理: 1.检查节点的配置文件,确保文件格式正确,并检查其中的参数是否正确设置。 2.检查节点的硬件和磁盘状态,确保它们都正常。如果需要的话,可以更换故障硬件或磁盘。 3.检查网络设置,确保网络连接正常,可以尝试对网络连接进行调整。 总之,这种错误可能由多种原因导致,需要逐一排除异常的原因,一步步排查解决问题。同时,也需要定期进行监控和维护,确保集群的稳定性和可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值