DataNode起不来检查记录

最新推荐文章于 2021-08-03 16:38:22 发布
最新推荐文章于 2021-08-03 16:38:22 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： hadoop CDH5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oufuji/article/details/50338483
版权
在启动HDFS时遇到DataNode无法启动的问题，日志显示50020端口已被占用。通过查看日志目录，确认端口冲突并使用putty检查详细情况。发现是rpc.statd进程占用了该端口，通过`kill -9`命令结束进程，并尝试重新启动DataNode，最终解决问题。
摘要由CSDN通过智能技术生成

今天开机启动HDFS，发现一个DataNode在界面上是停止的，尝试手工再次重启，直接报错，但是界面上输出日志不明显。



然后看日志输出目录（有点忘了日志目录了，查查配置）



putty去到目录：查看，发现50020端口被占用：

2015-12-17 10:25:45,261 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.net.BindException: Problem binding to [slave1.hadoop:50020] java.net.BindException: Address already in use; For more details see:  

最低0.47元/天 解锁文章
富兰克林008
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
namenode无法识别到datanode节点
weixin_48879833的博客
06-11 728
namenode无法连接datanode节点，datanode节点在namenode webUI界面不显示，显示数据存储为0，datanode节点数为0，datanode节点不显示
hadoop启动发现datanode启动失败，查看日志提示java.io.IOException: Incompatible clusterIDs
Java潘老师
05-13 3151
今天有个学生问我一个问题，说自己搭建的hadoop环境，在启动后通过jps指令查看进程发现DateNode进程消失了，不知道是什么原因，下面看看我们是如何来解决的！ 第一步：DataNode进程启动失败需要确定启动失败的原因，可以到logs目录查看对应的datanode日志信息。 如果你没有自定义配置日志输出目录，那就默认在${HADOOP_HOME}/logs目录下，通过指令或者下载datanode相关日志文件到本地查看异常信息，这里我们发现异常如下： java.io.IOException: I
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.io.IOException:
Knight
01-30 1652
2021-01-30 21:35:37,008 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.io.IOException: failed to stat a path component: '/var/run/hdfs-sockets'. error code 2 (No such file or directory) at org.apache.hadoop.net.unix.D
namenode和datanode无法启动解决方案
一扣解千愁的博客
11-02 1万+
安装Hadoop（伪分布式环境）namenode和datanode无法启动解决方案 先附上我参考的安装教程链接 10.1.88.4/index_1.php?url=http://www.msftconnecttest.com/redirect 我在执行./start-all.sh之后发现，没有任何错误提示，输入jps得到如下结果： [hadoop@localhost ...
org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
daxiang的专栏
08-05 478
本文转自：http://myhadoop.iteye.com/blog/2043099，未作修改，仅列出部分内容。 1、hadoop-root-datanode-master.log 中有如下错误：  ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible name
hadoop端口被占用
about database article
06-07 1万+
在启动hadoop的时候查看一个datanode没有起来，查看log发现 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.BindException: Problem binding to /0.0.0.0:50010 : Address already in use 50010端口是datanode的监听
DataNode启动优化改进：磁盘检测并行化
走在前往架构师的路上
11-20 3923
前言 在本篇文章中，本人打算聊一个大家平常都会遇见到的场景：HDFS中的DataNode启动的问题。DataNode启动不是一件非常迅速的事情吗？这其中能有大问题？看到这里，如果你也是这么想的话，那说明一点：你所运维的集群碰到的异常场景还不太多。本文所要讲述的问题并不是DataNode无法启动的问题，而是它启动有时会过慢的问题。
namenode和datanode工作机制_namenode和datanode的工作机制
weixin_32950005的博客
12-29 950
namenode工作机制1、namenode职责(1)负责客户端请求的响应(2)元数据的管理(查询，修改)2、元数据管理namenode对数据的管理采用了三种存储形式：内存元数据(NameSystem)磁盘元数据镜像文件数据操作日志文件(可通过日志运算出元数据)2.1元数据存储机制内存中有一份完整的元数据(内存meta data)磁盘有一个“准完整”的元数据镜像(fsimage)文件(在namen...
namenode进程无法启动，datanode启动正常；格式化之后，namenode正常，datanode无法启动，怎么解决？
Bolong_的博客
04-18 807
集群环境，全分布式，一个master,两个slave。启动hadoop后，两个slave结点进程正常，master缺少namenode。网上查了一翻，说是namenode元信息受损，需要修复，于是想起刚才急着去吃饭，hadoop没有关闭，电脑随手一合。。心塞。。尝试一翻无果后，只能格式化：cd /opt/linuxsir/hadop/bin./hdfs namenode -format接着清理日志...
namenode，datanode，nodemanager运行不起来，ava.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei
weixin_46834409的博客
05-25 442
format命令没有问题 start-all命令运行出错，namenode，datanode，nodemanager运行不起来，都是报错java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z** 20/05/25 14:41:14 WARN util.NativeCodeLoader: Unable to load native-hadoop li
一台机器安装多套hadoop环境 端口冲突的解决
Testing - So easy and so not easy ~
03-19 3131
一台机器安装多套hadoop环境 端口冲突到解决
java.net.BindException: Problem binding to [master:8032] java.net.BindException: Address already in
weixin_55124636的博客
08-03 1261
java.net.BindException: Problem binding to [master:8032] java.net.BindException: Address already in use 今天在搭完全分布式的时候 resourcemanager一直起不来，然后去看日志 Caused by: java.net.BindException: Problem binding to [master:8032] java.net.BindException: Address already.
CDH启动DataNode失败
dinghua_xuexi的专栏
05-03 1183
搭建完CDH集群后，发现有一个DataNode启动后马上又挂掉，反复几次都是如此，查看角色日志 java.net.BindException: Problem binding to [cdh01:50020] java.net.BindException: Address already in use; For more details see: http://wiki.apache.org...
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible namespaceIDs ...datanode namespa...
weixin_30859423的博客
07-04 703
　　用三台centos操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败，查看datanode的日志，提示错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/...
启动hadoop 2.6遇到的datanode启动不了
热门推荐
zhangt85的专栏
12-22 4万+
查看日志如下: 2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:50075 2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.Data
Hadoop常用端口号
Markble
09-22 5067
HDFS、YARN、HBase、Hive、Zookeeper常用端口号： 组件 节点 默认端口 配置 用途说明 HDFS DateNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DateNode 50075 dfs.datanode.http.address http服务的端口 HDFS DateNode 50475 dfs.datano.
HBASE启动 master: java.net.BindException: Address already in use
80后大叔爱学习
09-10 2581
master: java.net.BindException: Address already in use master: at sun.nio.ch.Net.bind0(Native Method) master: at sun.nio.ch.Net.bind(Net.java:444) master: at sun.nio.ch.Net.bin...
深入解析Hadoop DataNode源码
然后，`createDataNode`方法被调用来实例化一个DataNode对象，传入配置信息和资源。`createDataNode`内部，`instantiateDataNode`负责实际的实例化工作，通过`makeInstance`方法创建DataNode实例。 3. **DataNode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值