hadoop进程启动不全，有dataname无namenode等

最新推荐文章于 2023-10-15 11:17:55 发布
最新推荐文章于 2023-10-15 11:17:55 发布
阅读量793 收藏 2
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SSLJY_YCFH/article/details/103346637
版权

首先查看日志，用cat查看logs下的.log

发现原因：hadoop使用start-dfs.cm启动时，报如下错误：java.io.IOException: Failed on local exception: java.net.SocketException: Unresolved address; Host Details : local host is: “master”; destination host is: (unknown):0;
解决方法：
修改etc/hadoop目录下的core-site.xml，把hdfs://master:9000中的master改为本机ip即可。
然后重新执行一遍，jps就完美的显示所有进程了

one-皮卡丘
关注
专栏目录
Hadoop Namenode恢复
09-02
三、重启 Hadoop 并检查 namenode 的启动情况 在修改完配置文件后，需要重启 Hadoop，检查 namenode 是否启动成功。可以使用 jps 命令查看 namenode 的进程。 四、恢复 namenode 在 namenode 崩溃的情况下，需要...
Hadoop集群启动，部分进程没有启动成功的解决办法01之namenode与databode
qingzi267的博客
10-15 1307
格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，也尝试过停止进程再重新启动都没有解决掉该问题。（2）重新格式化：先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据。（具体删除方式见下面截图，亲测有效！如果集群是第一次启动，需要格式化NameNode，执行一次format就行了，不要没事就乱格式化，需要在每一个集群结点上执行上述删除操作！删除logs文件夹里的所有文件和文件夹。
为什么hadoop启动之后的进程数量不够
qq_64886378的博客
09-23 809
三台虚拟机进程够的话就是成功了，如果进程不够但代码也没错也先不必着急，先使用IP地址在网页上查看是否能查看虚拟机配置，如果可以的话可能就是你的jdk的版本过高，他jdk版本过高的话可能就会有进程不会显示出来，如果你想看着舒服将他显示出来，就需要你把你的jdk重新删掉再安装低版本的jdk，jdk的环境配置也要重新改正一下。要是我们使用jps查看进程，但是进程的数量不够，那可能就是我们的配置文件少了一些东西，也有可能是我们jdk版本过高，虽然他不会显示出来，但最终的网页还是能查看虚拟机的配置。
Hadoop集群启动，部分进程没有启动成功的解决办法02之 ResourceManager与NodeManager
qingzi267的博客
10-15 2551
完成所有配置后，启动服务，jps查看进程，缺失ResourceManager与NodeManager但是在去到192.168.100.14:9870（这个是我自己主机的ip，根据你自己的ip修改）这个地址，发现网页显示正常，没有什么问题。
解决Hadoop进程不全
weixin_56896307的博客
05-23 2813
1. 检查自己的ip地址 ifconfig查看ip地址，然后确保/etc/hosts文件中ip地址和主机名映射是正确的。 vim /etc/hosts，打开文件验证ip地址是否正确。 2. 进程不全最简单粗暴的解决办法： 先关闭所有进程：stop-all.sh 删除hadoop两个目录: rm -rf /usr/local/hadoop/logs rm -rf /usr/local/hadoop/tmp 3. 重新格式化和启动hadoop hadoop namen...
Yarn中的nodemanager报错：local host is: "hadoop01/192.168.85.128"; destination host is: "hadoop01":8031
IT Baicn的博客
01-15 4119
错误 java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "hadoop01/192.168.85.128"; destination host is: "hadoop01":8031; Caused by: java.io.EOFExceptio...
Hadoop守护者：NameNode与DataNode故障恢复全攻略
最新发布
07-11
### Hadoop Hadoop是一个开源框架，由Apache软件基金会开发，用于在普通硬件集群上存储和处理大量数据。它的核心组件包括： 1. **Hadoop Distributed File System (HDFS)** - 一个分布式文件系统，设计用于在多个...
Hadoop之NameNode Federation图文详解
08-26
Hadoop之NameNode Federation图文详解 Hadoop的NameNode Federation是HDFS（Hadoop Distributed File System）中的一种架构设计，旨在解决NameNode的扩展性、隔离性和性能问题。本篇文章将对NameNode Federation的...
hadoop集群基本进程
01-07
namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就...
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
Hadoop是Apache基金会开发的一个开源分布式存储与计算平台，它能够处理大规模数据的存储和计算。Hadoop分布式文件系统（HDFS）是Hadoop的核心组件之一，负责存储数据。在HDFS中，namenode和secondarynamenode起着至...
hadoop搭建过程.docx
06-10
HADOOP 搭建过程.docx 详细步骤说明. 免费下载
hbase_异常_05_End of File Exception between local host is: "rayner/127.0.1.1"; destination host is: "l...
didi9310的博客
03-22 3230
一、异常信息 java.io.EOFException: End of File Exception between local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000; : java.io.EOFException; For more details see: http://wi...
hadoop格式化namenode后，出现节点启动不全的情况-------解决方案
李子翔
05-22 2486
这里主要处理的异常情况是：namenode,datanode,或者其他节点在“启动服务”后没有显示的情况（实况是没有启动） 首先来分析一下出现这种状况的原因，这是很多新手都会犯的错误，原因也是多种多样的，在配置文件没有出错的情况下，最有可能是小伙伴们多次进行格式化了。 ***在这里说一下 ，在没有删除因格式化产生的文件前重新格式化是没有用的，hadoop不会覆盖重写已有文件！！！ *** 而namenode，datanode等启动不全的原因是因为底层文件version的配置信息clusterID不一样导致的
hadoop启动，报Unresolved address错误的解决方法
上善亦若水的博客
08-25 8477
hadoop使用start-dfs.cm启动时，报如下错误：java.io.IOException: Failed on local exception: java.net.SocketException: Unresolved address; Host Details : local host is: "master"; destination host is: (unknown):0;  ...
配置两个Hadoop集群Kerberos认证跨域互信（两个集群互通）
qq_43688472的博客
02-03 4614
配置两个Hadoop集群Kerberos认证跨域互信 两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。 先决条件： 1）两个集群(IDC.COM和HADOOP.COM)均开启Kerberos...
Hadoop默认端口说明
热门推荐
zzhongcy的专栏
02-25 1万+
Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D
Hadoop 搭建中遇到的问题 —— local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000
HeatDeath的博客
12-25 1万+
ls: Failed on local exception: java.io.IOException: Connection reset by peer; Host Details : local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000; 由于 CentOS 7.2 的镜像有坑，无法使用 servic
local host is: "node5/172.16.100.115"; destination host is: "node5":9000;
心如止水 宠辱不惊
08-09 2520
17/08/09 15:13:32 INFO spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:15 Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.Inval
HDFS环境搭建—伪分布式搭建
zhangtianpu的博客
07-16 693
                              本文是慕课网大数据学习的笔记加总结： 目录： 一、HDFS环境搭建—伪分布式搭建 二、HDFS的shell命令 三、java操作HDFS开发环境搭建 四、java API操作HDFS文件系统 一、HDFS环境搭建—伪分布式搭建 1.安装java， ​ 1.配置到系统环境变量中 vim /etc/profile exp...
hadoop namenode启动不了
06-28
可能是以下原因导致hadoop namenode启动不了： 1.配置文件错误：检查hadoop配置文件中的参数是否正确设置，特别是hdfs-site.xml和core-site.xml文件。 2.权限问题：检查hadoop文件系统的权限是否正确设置，确保...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值