hadoop集群搭建问题集锦

最新推荐文章于 2024-04-27 23:53:24 发布
最新推荐文章于 2024-04-27 23:53:24 发布
阅读量1.3k 收藏
点赞数 1
分类专栏： hadoop集群搭建问题集锦 文章标签： hadoop集群 livenodes数量错误 namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunggff/article/details/72885187
版权
本文总结了Hadoop集群搭建过程中遇到的问题，包括LiveNodes数量不匹配和Hive使用Beeline时的授权错误。对于LiveNodes数量不符，解决方法是修改Namenode上的Blockpool ID，并重启集群。对于Hive的授权异常，需要在core-site.xml中配置允许root用户的代理设置，重启Hadoop集群以应用更改。
摘要由CSDN通过智能技术生成

1.集群启动后，各DataNode成功启动但是在查询LiveNodes时与实际数量（3个）不符

查看日志所示错误：

2017-06-06 16:35:08,850 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-749503087-220.192.10.13-1488958653636 (Datanode Uuid 013abfe9-a8d8-4bcc-b173-db0fc8e582f8) service to hadoop05/220.192.10.14:9000 Blockpool ID mismatch: previously connected to Blockpool ID BP-749503087-220.192.10.13-1488958653636 but now connected to Blockpool ID BP-749503087-220.192.10.14-1488958653636

进入Namenode所在

最低0.47元/天 解锁文章
sunggff
关注
专栏目录
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1040
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Initialization failed for Block pool BP-XX (Datanode Uuid xxx) service to
mtj66的博客，交流WX:SpringBreeze1104
05-05 1179
配置hdfs namenode HA: hdfs zkfc –formatZK Initialization failed for Block pool BP-666417012-10.253.76.213-1557044865448 (Datanode Uuid 5132035c-8d6a-4617-af7e-7d07355a905b) service to hzd-t-...
Block pool ID needed, but service not yet registered with NN, trace
全栈川川
08-27 1283
然后下载了版本jdk-13.0.2_linux-x64_bin，重新安装上去就好了，然后记得环境变量那里也改一下，因为原来是18。我的hadoop版本为3.2.4 ，java版本为18.0.2.1，我的版本太新了，因此需要降低版本。好像是版本原因，Hadoop Java 版本。...
datanode无法启动Block pool ID needed, but service not yet registered with NN
TURING.DT
04-13 1万+
2015-10-15 14:12:41,319 INFO  datanode.DataNode (DataXceiverServer.java:(75)) - Balancing bandwith is 6250000 bytes/s         at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.j
hadoop cdh4u3 （HA） 启动问题合集
Talk Is Cheap
06-19 3157
./hadoop namenode -format报错 在-format之前要所有节点sbin下hadoop-daemon.sh start journalnode 参考脚本： ssh 192.168.2.14 "/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode" ssh 192.168.2.8 "/usr/local/ha
安装hadoop2.4.0遇到的问题
weixin_30840253的博客
06-19 216
一、执行start-dfs.sh后，datenode没有启动 　　查看日志如下：　　 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Data...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
最新发布
2401_84181070的博客
04-27 1053
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
Hadoop集群管理基础知识笔记
书忆江南的IT博客
08-25 2078
1.Hadoop集群尽量采用ECC内存，否则可能会出现校验和错误，ECC内存有纠错功能。在磁盘方面，尽管namenode建议采用RAID以保护元数据，但是将RAID用于datanode不会给HDFS带来益处，速度依然比HDFS的JBOD(Just a Bunch Of Disks)配置慢。RAID读写速度受制于最慢的盘片，JBOD的磁盘操作都是独立的。而且JBOD配置的HDFS某一磁盘故障可以直接...
史上最详细的Hadoop环境搭建（转载）
弗思的博客
04-24 809
目录(?)[+]GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 关注公众号：GitChat 技术杂谈，一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路...
hadoop datanode重启出现namenode的clusterID和datanode的不一致。
木易的专栏
05-10 9726
日志报出的错误是这样的： 016-05-10 15:14:05,620 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (storage id DS-6116241-10.20.18.160-50010-1462417536805) se
DataNode-- Initialization failed for block pool Block pool BP-1088120134-127.0.1.1-1441936318521
qq_23559599的博客
09-18 2524
问题： 2015-09-1110:06:00,571 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode:Initialization failed for block pool Block poolBP-1088120134-127.0.1.1-1441936318521 (storage idDS-763621962-127.0.1
NameNode多次Format后DataNode无法启动的问题
来啊 快活啊
08-21 5652
1.NameNode格式化两次后，DataNode无法启动，查看日志，有如下错误： [code lang="java"] 2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode
Hadoop3.2.1 【 HDFS 】源码分析 : BlockPoolManager 解析
张伯毅的专栏
11-20 3355
一. 前言 BlockPoolManager类负责管理所有的BPOfferService实例， 对外提供添加、 删除、 启动、 停止、 关闭BPOfferService类的接口。 所有对BPOfferService的操作， 都必须通过BlockPoolManager类提供的方法来执行。 DataNode.startDataNode()方法初始化了BlockPoolManager对象， 然后调用BlockPoolManager.refreshNamenodes()方法完成对BlockPoolManager的构
hdfs增加ns之后，重启DN报clusterId不匹配错误
快乐程序员的专栏
12-09 2973
在测试环境准备测试FastCopy，因为之前只有一个NS，准备增加一个NS也便于测试，一切都准备妥当之后，重启DN，但是DN死活连接不上新的NN，报以下错误：
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
热门推荐
蔡先生的专栏
03-17 3万+
重新搭建Hadoop集群，一切配置就绪后，启动集群后，在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态，而且可以正常往HDFS上传下载文件。 但是在8088端口查看不到任何Nodes的信息，提交任务到集群，任务一直卡在Accepted状态。 通过查看日志发现提示如下错误： 2016
大数据入门：Hadoop集群搭建步骤
"搭建Hadoop集群基础教程" 在大数据领域，Hadoop是一个不可或缺的工具，尤其对初学者来说，掌握如何搭建Hadoop集群是至关重要的。本文将指导你一步步完成这个过程。 首先，确保你的系统已经安装了JDK，因为Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值