【Hbase】HBase Master启动报错java.io.IOException: error or interrupted while splitting logs

最新推荐文章于 2024-01-11 14:55:33 发布
最新推荐文章于 2024-01-11 14:55:33 发布
阅读量519 收藏
点赞数
文章标签： hbase java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mrerlou/article/details/130337102
版权
在CDH环境下，HBase启动时HMaster出现异常，特别是SplitLogManager相关日志频繁报错，指出在拆分WAL日志过程中遇到问题。日志显示无法成功地拆分特定的WAL文件，导致HBase服务受到影响。RegionServer日志也显示了版本不匹配错误，进一步揭示了协调问题。解决方法是检查并删除残留的splitting文件，然后重启HBase集群。
摘要由CSDN通过智能技术生成

前言

今天在一个CDH环境中启动HBase时HBase Master启动发生异常，于是查看HMaster日志，其中一台HBase Master日志信息正常，另外一台HBase Master日志一直在刷SplitLogManager相关的日志

报错日志

2020-06-20 20:00:54,345 WARN org.apache.hadoop.hbase.master.SplitLogManager: error while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode05.esgyn.cn,60020,1592556004866-splitting] installed = 1 but only 0 done
2020-06-20 20:00:54,345 WARN org.apache.hadoop.hbase.master.SplitLogManager: error while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode07.esgyn.cn,60020,1592556014755-splitting] installed = 1 but only 0 done
2020-06-20 20:00:54,346 WARN org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure: Failed serverName=zfnode05.esgyn.cn,60020,1592556004866, state=SERVER_CRASH_SPLIT_LOGS; retry
java.io.IOException: error or interrupted while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode05.esgyn.cn,60020,1592556004866-splitting] Task = installed = 1 done = 0 error = 0
        at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:291)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:436)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:409)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:326)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.splitLogs(ServerCrashProcedure.java:449)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:257)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:75)
        at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:119)
        at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:498)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1061)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:856)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:809)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.access$400(ProcedureExecutor.java:75)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:495)
2020-06-20 20:00:54,346 WARN org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure: Failed serverName=zfnode07.esgyn.cn,60020,1592556014755, state=SERVER_CRASH_SPLIT_LOGS; retry
java.io.IOException: error or interrupted while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode07.esgyn.cn,60020,1592556014755-splitting] Task = installed = 1 done = 0 error = 0
        at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:291)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:436)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:409)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:326)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.splitLogs(ServerCrashProcedure.java:449)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:257)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:75)
        at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:119)
        at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:498)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1061)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:856)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:809)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.access$400(ProcedureExecutor.java:75)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:495)
2020-06-20 20:00:54,355 INFO org.apache.zookeeper.ClientCnxn: EventThread shut down
2020-06-20 20:00:54,352 INFO org.apache.zookeeper.ZooKeeper: Session: 0x372d1899c99001f closed
2020-06-20 20:00:54,352 WARN org.apache.hadoop.hbase.master.SplitLogManager: Stopped while waiting for log splits to be completed
2020-06-20 20:00:54,360 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: stopping server zfnode02.esgyn.cn,60000,1592654144721; zookeeper connection closed.
2020-06-20 20:00:54,360 WARN org.apache.hadoop.hbase.master.SplitLogManager: error while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode08.esgyn.cn,60020,1592556004592-splitting] installed = 1 but only 0 done
2020-06-20 20:00:54,360 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: master/ZFnode02.esgyn.cn/10.19.41.22:60000 exiting
2020-06-20 20:00:54,361 WARN org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure: Failed serverName=zfnode08.esgyn.cn,60020,1592556004592, state=SERVER_CRASH_SPLIT_LOGS; retry
java.io.IOException: error or interrupted while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode08.esgyn.cn,60020,1592556004592-splitting] Task = installed = 1 done = 0 error = 0
        at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:291)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:436)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:409)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:326)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.splitLogs(ServerCrashProcedure.java:449)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:257)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:75)
        at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:119)
        at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:498)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1061)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:856)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:809)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.access$400(ProcedureExecutor.java:75)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:495)

再看RegionServer日志，报错信息如下，

2020-06-20 19:49:00,847 WARN org.apache.hadoop.hbase.coordination.ZkSplitLogWorkerCoordination: transisition task /hbase/splitWAL/WALs%2Fzfnode04.esgyn.cn%2C60020%2C1592556004686-splitting%2Fzfnode04.esgyn.cn%252C60020%252C1592556004686.null0.1592639729895 to RESIGNED zfnode03.esgyn.cn,60020,1592652946422 failed because of version mismatch
org.apache.zookeeper.KeeperException$BadVersionException: KeeperErrorCode = BadVersion for /hbase/splitWAL/WALs%2Fzfnode04.esgyn.cn%2C60020%2C1592556004686-splitting%2Fzfnode04.esgyn.cn%252C60020%252C1592556004686.null0.1592639729895
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:115)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
        at org.apache.zookeeper.ZooKeeper.setData(ZooKeeper.java:1266)
        at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.setData(RecoverableZooKeeper.java:422)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.setData(ZKUtil.java:818)
        at org.apache.hadoop.hbase.coordination.ZkSplitLogWorkerCoordination.endTask(ZkSplitLogWorkerCoordination.java:595)
        at org.apache.hadoop.hbase.regionserver.handler.WALSplitterHandler.process(WALSplitterHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:129)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

根据以下报错信息所指，问题出现hdfs://nameservice1/hbase/WALs/zfnode07.esgyn.cn,60020,1592556014755-splitting。

在这里插入图片描述

原因

当无法拆分损坏的 WAL 日志时，会出现此问题，这会导致关闭 HBase。

可能造成异常原因：

  1. HDFS 文件损坏 可以使用 hdfs fsck 命令检查 HDFS 集群
  2. 上次HBase的split操作发生了异常，导致WAL目录下面仍然有splitting文件残留

解决方案

  1. 删除这些异常的splitting文件
hadoop fs -rmr /hbase/WALs/*-splitting
  1. 重启HBase 集群。
kiraraLou
关注
Hive mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-15 1786
mapreduce报错：java.io.IOException: Split metadata size exceeded 10000000 一、问题现象 客户在用hive sql做几张表的组合分析，使用mr引擎。 因为其中有一张表超过5万个分区，数据总量超过8千亿条，因此运行过程中出现失败，报错如下所示： org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl: Job init failed org.apache.hadoop.yarn.exec
java 连接HABSE报错 java.io.IOException: java.lang.reflect.InvocationTargetException
x_xx_xxx_xxxx的博客
04-24 1万+
卸载JAVA 的 工具 ： https://java.com/en/download/uninstalltool.jsp 老版本 eclispe    :    http://pan.baidu.com/s/1nvTNKKx本人开发环境：Win10  JDK 10.0.1 jre 10.0.1 HBASE 1.1.2eclispe 报错如下：Java错误主要信息：java.io.IOExcepti...
hbase cannot get log reader问题
07-27 2281
2017-07-27 17:49:21,106 WARN  [RS_LOG_REPLAY_OPS-slave1:16020-0] regionserver.SplitLogWorker: log splitting of WALs/slave2,16020,1501058134935-splitting/slave2%2C16020%2C1501058134935.default.15010581
HBase Master启动报错java.io.IOException: error or interrupted while splitting logs
数据源的港湾
06-20 2565
今天在一个CDH环境中启动HBase时HBase Master启动发生异常，HBase Master采用的是两台HMaster做一个HA。从CDH管理界面查询启动成功后，HBase Master状态并不太正常（如下图所示）， 以上截图看似正常，实质不正常。正常情况下两个HMaster主备可用时，Master后面应该有一个标识是活动还是备份的状态，但上面图片中缺少状态信息。 于是查看两个HMaster日志，其中一台HBase Master日志信息正常，另外一台HBase Master日志一直在刷SplitL
【转】HBase Log splitting
SMCwwh
01-28 6443
通常有两种情况日志文件需要进行replay：当集群启动时，或者当服务器出错时。当master启动—(备份master转正也包括在内)—它会检查HBase在文件系统上的根目录下的.logs文件是否还有一些文件，目前没有安排相应的region server。日志文件名称不仅包含了服务器名称，而且还包含了该服务器对应的启动码。该数字在region server每次重启后都会被重置，这样master就能用
hbase报异常java.io.IOException: error or interrupted while splitting logs in
civci_d的博客
12-25 1234
hadoop fsck -openforwrite 如果报以下错误，需要修改hbase-site.xml 具体配置如下： <property> <name>hbase.master.distributed.log.splitting</name> <value>false</value> </property>
hbase报java.io.IOException: cannot get log reader
weixin_43096260的博客
03-18 832
解决： 如果安装的是cdh版的hbase的话 这是因为在添加有关phoenix服务组件的时候hbase中二级索引的配置无法读取造成的报错 只要将phoenix服务安装完毕就会自行解决 ...
hbase问题-java.io.IOException: error or interrupt while splitting logs
02-12 7863
 【hbase】java.io.IOException: error or interrupt while splitting logs 一.问题描述及初步解决 操作层面报错如下： [admin@inc-dp-hbase-01 conf]$ hbase shell HBase Shell; enter 'help' for list of supported co
java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer
weixin_43115740的博客
08-18 699
java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer 语言：java 需求：java连接hbase，进行读写 如标题所示，IO异常了，但是这个时候的报错特别的笼统。根本看不到错误！ 首先查看hbase的master以及regionserver是否启动，日志有无异常，但是很不幸无异常 接下来查看zk的leader日志以及穷情况也无问题 因为是架构师写的代码，最开始根本没有想过代码会有问题，仔细查看代码后发现
Hadoop报错Caused by: java.io.IOException: Stream closed问题
wangkuangood3200的专栏
11-10 3767
【问题现象】 这几天离线计算平台有个别计算作业运行失败，排查原因，查看平台日志，报错关键信息如下： WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.Error: org.apache.hive.s
master.HMaster:Failed to become active master java.io.IOException: error or interrupted while split
破晓的成长之路
09-20 5387
在自己的机器上操作的，之前因为网络出问题强行关闭虚拟机。再次开启时发现HMaster进程启动不了（HRegionServer正常启动，而HMaster启动几秒后挂了），查看日志发现如下： 2019-09-20 20:32:05,519 INFO [main-EventThread] coordination.SplitLogManagerCoordination: task /hbase/spl...
解决由于HMaster启动报错导致hbase shell 进行操作报错的问题
weixin_42614778的博客
05-06 428
hbase shell 进行list、scan等操作报错，一系列解决方案 报错信息：ERROR: Can’t get master address from ZooKeeper; znode data == null 在网上找的解决方案： 先把zookeeper、hbase、Hadoop全停止，按顺序先重启hadoop，再启动zookeeper，再启动集群， 最后启动Hbase时，首先启动HRegionserver，然后再启动HMaster 发现依然报错。 发现HMaster在启动一段时间后自动停止并报错
安装Hbase出现master.HMaster: Failed to become active masterjava.io.EOFException: Cannot seek after EOF
最新发布
01-11 567
折腾了半天才发现是版本不兼容，Hbase更换为2.5.7后一切正常，以下是网上找的版本对照表。hadoop版本为3.3.6，Hbase为2.3.0，启动后报错如下图。
java调用hbase_Java调用Hbase
weixin_29370183的博客
02-12 336
1、java调用hbase时(hbase0.96)报以下错误：Exception in thread "main" java.io.IOException: java.lang.reflect.InvocationTargetExceptionat org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnect...
java remoteexception,HBase中此类异常解决记录org.apache.hadoop.ipc.RemoteException(java.io.IOException):...
weixin_39942335的博客
03-20 737
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no n...
CDH - 启动HbaseMaster时异常
jast
09-14 3357
测试环境 CDH,启动HbaseMaster时，启动失败，提示无法split WALs目录下的数据。 解决方法：删除WALs里的数据解决该问题（数据如不可恢复勿用该方法），重启成功 2018-09-14 14:43:07,254 WARN org.apache.hadoop.hbase.coordination.SplitLogManagerCoordination: Error split...
Failed get of master address: java.io.IOException: Can‘t get master address from ZooKeeper； znode da
kimi的博客
02-27 2882
今天Hbase 出了点问题，Master无法正常启动，报错如下: 在网上查了很久的资料都没有解决，后来把日志往上翻，发现 其实日志里说的已经很清楚了，hdfs有问题，页面也有告警信息说块丢失，那么就好办了，执行命令hadoop fsck /hbase/MasterProcWALs -delete 然后重启Hbase，问题解决！ ...
hadoop hbase hive 常见问题解决
热门推荐
lhy66的专栏
03-24 12万+
Hadoop常见问题，hbase常见问题，hive常见问题。结合网络资料 和自己遇到的整理。
Hbase Hbck2修复工具介绍和实践
weixin_65782325的博客
01-07 3665
Hbase Hbck2修复工具介绍和实践,我们在Hbase 的使用过程中，我们可能遇到过因为：机房断电、机房断网、ZK或者HBase的GC时间过长等原因引发的一系列HBase不可用的问题，这些问题通常需要通过hbase-operator-tool（HBase集群修复工具）中的工具来解决
hbase链接报错: java.io.ioexception: could not locate executable null\bin\win
09-01
HBase是一种分布式的非关系型数据库，它基于Hadoop的HDFS文件系统进行存储，并且提供了高可靠性、高扩展性和高性能的特性。当在使用HBase时，有时可能会遇到一些报错信息。 对于报错信息：java.io.IOException: could not locate executable null\bin\win，这是由于系统环境变量配置不正确导致的。在Windows系统中，HBase需要依赖一些可执行文件来执行不同的操作。然而，这个错误消息告诉我们系统找不到指定位置的可执行文件。 解决这个问题，我们可以按照以下步骤操作： 1. 首先，确认你已经正确安装了HBase并且设置好了系统环境变量。确保HBase的安装目录被正确添加到 PATH 环境变量中。 2. 确保在 HBase 的 conf 目录下，有一个名为 hbase-site.xml 的配置文件。在这个文件中，你需要设置 HBase 的主要配置属性，例如 HBase 的根目录。 3. 确认 Hadoop 的 bin 目录也被正确添加到 PATH 环境变量中。这是因为HBase依赖于Hadoop的一些可执行文件。 4. 确认 Hadoop 的配置文件也存在于其 conf 目录中，并且 Hadoop 的根目录也被正确设置。 5. 最后，尝试重新启动 HBase，看看是否仍然报错。 如果以上步骤都正确进行，并且环境配置也正确，你应该能够避免这个错误。如果问题仍然存在，请仔细检查上述步骤，并确保每一步都按照正确的方式进行操作。 希望以上解答能够帮助你解决HBase链接报错的问题。如果仍然有疑问，请提供更多的详细信息，以便我们能更准确地定位问题并给出进一步的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值