hadoop集群问题备忘，自用

最新推荐文章于 2022-12-11 12:15:24 发布
最新推荐文章于 2022-12-11 12:15:24 发布
阅读量1k 收藏 2
点赞数 2
分类专栏： Hadoop 文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31783363/article/details/122495507
版权

执行 hdfs zkfc -formatZK 遇到 异常
org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on the node other than namenode. 2022-01-14 15:16:20,921 INFO tools.DFSZKFailoverController
将hosts文件内本机映射改为
0.0.0.0 主机名
成功解决

WhitAnOrChild
关注
专栏目录
利用ansible 自动 安装Hadoop 集群
05-10
Hadoop作为大数据处理的核心组件，包括HDFS（Hadoop Distributed File System）和MapReduce等模块，构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible，我们可以简化这个过程...
【无标题】Could not get the namenode ID of this node. You may run zkfc on the node other than namenode.
最新发布
qaz920930的博客
06-04 558
尝试启动hdfs，结果namenode节点无法启动，报错端口占用，检查后发现无端口占用情况。查询资料发现此问题是双网ip问题导致，检查发现果然有两个ip，/etc/hosts当中配置的都是外网ip，将hosts中ip修改成内网ip，同时删除dfs.ha.namenode.id配置项；dfs.ha.namenode.id配置项再我们自己的配置文件中是没有的，故可以排除此项，同时也有一个疑问，能否通过配置此项来规避当前出现的问题，但是这里我们并不知道dfs.ha.namenode.id代表的是什么。
ception in thread “main“ org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namen
qq_44731194的博客
04-23 1886
ha格式化zookeeper时报错Exception in thread "main" org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on the node other than namenode. 可能是因为hdfs-site.xml里的namenode的id或者IP地址不对地址只能是主节点namenode ...
Hadoop高可用集群搭建遇到的问题
weixin_42821133的博客
04-28 2684
1.格式化zookeeper异常 [root@hadoop03 bin]# hdfs zkfc -formatZK Exception in thread "main" org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on t...
个人遇到的一些Hadoop错误
twj0823的博客
11-22 2992
1、org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 对应的文件和数据块是存在的，之所以报这个错，是因为打开的数据流过多没有及时关闭 2、INFO ipc.Client: Retrying connect to server: slave1/192.168.233.131:8485. Already ...
Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController（一）
weixin_33912638的博客
12-14 1236
一、简介 DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件，它负责整体的故障转移控制等。它是一个守护进程，通过main()方法启动，继承自ZKFailoverController。 二、实现流程 1、启动 通过main()方法启动，如下： ...
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
完美解决Hadoop集群无法正常关闭的问题!
01-07
相信对于大部分的大数据初学者来说，一定遇见过hadoop集群无法正常关闭的情况。有时候当我们更改了hadoop内组件的配置文件后，必须要通过重启集群来使配置文件生效。  但往往一stop-all.sh,集群下方总会出现下面的...
Hadoop集群安装
01-07
Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode ...
hadoop 集群部署操作
11-27
Hadoop 集群部署操作 Hadoop 集群部署操作是指规划、安装和配置 Hadoop 集群的整个过程，以便在生产环境中运行 Hadoop 应用程序。下面是 Hadoop 集群部署操作的详细知识点： 规划 Hadoop 集群 * 规划主机名：...
ERROR org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller.
weixin_41877582的博客
11-04 2244
用jps查看java进程，发现没有DFSZKFailoverController进程 格式化zk,在zookeeper上创建hadoop-ha节点（就是目录） hdfs zkfc -formatZK 启动zkfc（在所有namenode节点上） hadoop-daemon.sh start zkfc 刷新namenode，会自动选出active hdfs haadmin -failover nn1 nn2 https://blog.csdn.net/houzhizhen/article/details.
Hadoop启动不了Namenode进程，出现IllegalArgumentException异常
weixin_34409357的博客
07-13 330
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop2.x与Zookeeper安装
是夜色太荒芜的专栏
05-21 1294
Hadoop2经典分布式部署模式 基于QJN的HA模式的分布式部署，不含Federation模块的实践是一个经典的Hadoop2的高可用的分布式部署模式。 1.准备测试环境 准备4台PC服务器做Hadoop2部署 ip | hostname|namenode|fc|datanode|rm|nodemanage|QJN 10.71.84.237 hadoop201 Y Y Y Y Y Y
Exception in thread "main" org.apache.hadoop.HadoopIllegalArgumentException
qq_26331821的博客
01-14 4417
Exception in thread “main” org.apache.hadoop.HadoopIllegalArgumentException: Could not get the namenode ID of this node. You may run zkfc on the node other than namenode. at org.apache.hadoop.hdfs.too...
Hadoop-2.7.2分布式安装手册
weixin_33752045的博客
11-25 970
目录 目录 1 1.前言 3 2.特性介绍 3 3.部署 5 3.1.机器列表 5 3.2.主机名 5 3.2.1.临时修改主机名 6 3.2.2.永久修改主机名 6 3.3.免密码登录范围 7 4.约定 7 4.1.安装目录约定 7 4.2.服务端口约定 8 4.3.各模块RPC和HTTP端口 9 5.工作详单 9 6.JDK安装 ...
hadoop ha zk注册碰到 “main org.apache.hadoop.HadoopIllegalArgumentException: HA is not enabled for
miaotoull的博客
12-11 476
hadoop ha搭建的时候 zk注册出现问题怎么解决(最新最快的解决方案）
致那时那刻，所犯下的错——Hadoop错误集合
loftiest的博客
11-18 2819
看日志(很重要) 日志在hadoop根目录下logs目录下，根据出错时间找到时间相符的文件cat DataNode未启动 删除core-site.xml中hadoop.tmp.dir指定的目录，集群机器全都删除，使用hdfs namenode -format重新格式化，再启动集群。 Namenode未启动 非高可用 删除core-site.xml中hadoop.tmp.dir指定的目录，集群机器全都删除，使用hdfs namenode -format重新格式化，再启动集群。 高可用 删除core-site.
设置主机名和hosts映射
m0_61925586的博客
11-27 9015
Linux的主机名和hosts映射
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值