HBase Master启动报错java.io.IOException: error or interrupted while splitting logs

最新推荐文章于 2022-11-30 22:13:16 发布
最新推荐文章于 2022-11-30 22:13:16 发布 1836 收藏 2
分类专栏： QianBaseV1/EsgynDB诊断 QianBaseV1/EsgynDB/Trafodion Cloudera Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Post_Yuan/article/details/106877491
版权

今天在一个CDH环境中启动HBase时HBase Master启动发生异常，HBase Master采用的是两台HMaster做一个HA。从CDH管理界面查询启动成功后，HBase Master状态并不太正常（如下图所示），
在这里插入图片描述
以上截图看似正常，实质不正常。正常情况下两个HMaster主备可用时，Master后面应该有一个标识是活动还是备份的状态，但上面图片中缺少状态信息。

于是查看两个HMaster日志，其中一台HBase Master日志信息正常，另外一台HBase Master日志一直在刷SplitLogManager相关的日志，过一会之后即有如下报错信息，

2020-06-20 20:00:54,345 WARN org.apache.hadoop.hbase.master.SplitLogManager: error while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode05.esgyn.cn,60020,1592556004866-splitting] installed = 1 but only 0 done
2020-06-20 20:00:54,345 WARN org.apache.hadoop.hbase.master.SplitLogManager: error while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode07.esgyn.cn,60020,1592556014755-splitting] installed = 1 but only 0 done
2020-06-20 20:00:54,346 WARN org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure: Failed serverName=zfnode05.esgyn.cn,60020,1592556004866, state=SERVER_CRASH_SPLIT_LOGS; retry
java.io.IOException: error or interrupted while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode05.esgyn.cn,60020,1592556004866-splitting] Task = installed = 1 done = 0 error = 0
        at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:291)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:436)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:409)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:326)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.splitLogs(ServerCrashProcedure.java:449)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:257)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:75)
        at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:119)
        at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:498)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1061)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:856)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:809)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.access$400(ProcedureExecutor.java:75)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:495)
2020-06-20 20:00:54,346 WARN org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure: Failed serverName=zfnode07.esgyn.cn,60020,1592556014755, state=SERVER_CRASH_SPLIT_LOGS; retry
java.io.IOException: error or interrupted while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode07.esgyn.cn,60020,1592556014755-splitting] Task = installed = 1 done = 0 error = 0
        at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:291)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:436)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:409)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:326)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.splitLogs(ServerCrashProcedure.java:449)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:257)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:75)
        at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:119)
        at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:498)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1061)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:856)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:809)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.access$400(ProcedureExecutor.java:75)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:495)
2020-06-20 20:00:54,355 INFO org.apache.zookeeper.ClientCnxn: EventThread shut down
2020-06-20 20:00:54,352 INFO org.apache.zookeeper.ZooKeeper: Session: 0x372d1899c99001f closed
2020-06-20 20:00:54,352 WARN org.apache.hadoop.hbase.master.SplitLogManager: Stopped while waiting for log splits to be completed
2020-06-20 20:00:54,360 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: stopping server zfnode02.esgyn.cn,60000,1592654144721; zookeeper connection closed.
2020-06-20 20:00:54,360 WARN org.apache.hadoop.hbase.master.SplitLogManager: error while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode08.esgyn.cn,60020,1592556004592-splitting] installed = 1 but only 0 done
2020-06-20 20:00:54,360 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: master/ZFnode02.esgyn.cn/10.19.41.22:60000 exiting
2020-06-20 20:00:54,361 WARN org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure: Failed serverName=zfnode08.esgyn.cn,60020,1592556004592, state=SERVER_CRASH_SPLIT_LOGS; retry
java.io.IOException: error or interrupted while splitting logs in [hdfs://nameservice1/hbase/WALs/zfnode08.esgyn.cn,60020,1592556004592-splitting] Task = installed = 1 done = 0 error = 0
        at org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:291)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:436)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:409)
        at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:326)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.splitLogs(ServerCrashProcedure.java:449)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:257)
        at org.apache.hadoop.hbase.master.procedure.ServerCrashProcedure.executeFromState(ServerCrashProcedure.java:75)
        at org.apache.hadoop.hbase.procedure2.StateMachineProcedure.execute(StateMachineProcedure.java:119)
        at org.apache.hadoop.hbase.procedure2.Procedure.doExecute(Procedure.java:498)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execProcedure(ProcedureExecutor.java:1061)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:856)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.execLoop(ProcedureExecutor.java:809)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.access$400(ProcedureExecutor.java:75)
        at org.apache.hadoop.hbase.procedure2.ProcedureExecutor$2.run(ProcedureExecutor.java:495)

再看RegionServer日志，报错信息如下，

2020-06-20 19:49:00,847 WARN org.apache.hadoop.hbase.coordination.ZkSplitLogWorkerCoordination: transisition task /hbase/splitWAL/WALs%2Fzfnode04.esgyn.cn%2C60020%2C1592556004686-splitting%2Fzfnode04.esgyn.cn%252C60020%252C1592556004686.null0.1592639729895 to RESIGNED zfnode03.esgyn.cn,60020,1592652946422 failed because of version mismatch
org.apache.zookeeper.KeeperException$BadVersionException: KeeperErrorCode = BadVersion for /hbase/splitWAL/WALs%2Fzfnode04.esgyn.cn%2C60020%2C1592556004686-splitting%2Fzfnode04.esgyn.cn%252C60020%252C1592556004686.null0.1592639729895
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:115)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
        at org.apache.zookeeper.ZooKeeper.setData(ZooKeeper.java:1266)
        at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.setData(RecoverableZooKeeper.java:422)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.setData(ZKUtil.java:818)
        at org.apache.hadoop.hbase.coordination.ZkSplitLogWorkerCoordination.endTask(ZkSplitLogWorkerCoordination.java:595)
        at org.apache.hadoop.hbase.regionserver.handler.WALSplitterHandler.process(WALSplitterHandler.java:96)
        at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:129)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

根据以下报错信息所指，问题出现hdfs://nameservice1/hbase/WALs/zfnode07.esgyn.cn,60020,1592556014755-splitting。
在这里插入图片描述
我们怀疑可能是上次HBase的split操作发生了异常，导致WAL目录下面仍然有splitting文件残留，我们使用以下命令删除这些异常的splitting文件，

hadoop fs -rmr /hbase/WALs/*-splitting

然后重启HBase Master，重启正常。
在这里插入图片描述

post_yuan
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
03-05
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
【转】HBase Log splitting
SMCwwh
01-28 6286
通常有两种情况日志文件需要进行replay：当集群启动时，或者当服务器出错时。当master启动—(备份master转正也包括在内)—它会检查HBase在文件系统上的根目录下的.logs文件是否还有一些文件，目前没有安排相应的region server。日志文件名称不仅包含了服务器名称，而且还包含了该服务器对应的启动码。该数字在region server每次重启后都会被重置，这样master就能用
Hbase HMaster启动问题
漫步
08-28 6275
Hbase HMaster启动问题
hbase报异常java.io.IOException: error or interrupted while splitting logs in
civci_d的博客
12-25 1029
hadoop fsck -openforwrite 如果报以下错误，需要修改hbase-site.xml 具体配置如下： <property> <name>hbase.master.distributed.log.splitting</name> <value>false</value> </property>
hbase_使用中遇到的问题（reginserver节点挂掉）
子龙修仙的博客
06-07 4367
现象：    新搭建了四台hbase集群，创建了100多张表，导入了3000多万的记录。在使用过程中，每个小时的第36分钟其中一个regionserver节点挂掉，另两个regionserver节点跟着也挂掉。master节点没问题。先挂掉的regionserver节点的日志节选：2018-06-06 10:35:50,125 WARN  [RpcServer.FifoWFPBQ.default....
hbase的2.2.4版本支持哪个版本的hadoop_HBase运维HBase2.x修复工具HBCK2介绍
weixin_39965673的博客
11-23 295
1. 背景 在了解HBCK2之前，建议先了解一下啥是HBCK。HBCK是HBase1.x中的命令，到了HBase2.x中，HBCK命令不适用，且它的写功能(-fix)已删除，它虽然还可以报告HBase2.x集群的状态，但是由于它不了解HBase2.x集群内部的工作原理，因此其评估将不准确。因此，如果你正在使用HBase2.x，那么对HBCK2应该需要了解一些，即使你不经常用到。2. 获取...
遇到IOError: CRC check failed这样的问题的可能解决方法
RainSorrow的博客
02-20 1万+
这种问题的原因之一是你直接使用系统自带的解压方式，即右键解压，但是在linux下，的解压都要带一些参数，所以会出现问题。因此还是建议用命令行方式解压。
关于Hbase使用出现java.io.IOException: java.lang.reflect.InvocationTargetException解决
不依法度的博客
11-30 1000
关于Hbase使用出现java.io.IOException: java.lang.reflect.InvocationTargetException解决
画剖面图程序（建议修改）
12-18
这是给画剖面图的程序，希望能对大家有所帮助
hbase-2.0.2.3.1.4.0-315-bin.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
hbase-2.0.0.3.0.0.0-1634-bin.tar.gz
08-21
ambari2.7.x编译所需要的的hbase包，国站已经无法下载
hbase-2.1.9-bin.tar.gz
05-19
hbase-2.1.9-bin.tar.gz
phoenix-4.11.0-HBase-1.3-client.jar
12-19
官方每次都是列举出最新的jar，以前的jar还真是不太好找，所以呢，上传到这里，希望能够帮到各位小伙伴
master.HMaster:Failed to become active master java.io.IOException: error or interrupted while split
破晓的成长之路
09-20 4877
在自己的机器上操作的，之前因为网络出问题强行关闭虚拟机。再次开启时发现HMaster进程启动不了（HRegionServer正常启动，而HMaster启动几秒后挂了），查看日志发现如下： 2019-09-20 20:32:05,519 INFO [main-EventThread] coordination.SplitLogManagerCoordination: task /hbase/spl...
HBase运维记录
qq_38586378的博客
11-12 369
一、前言 前面自查出过一篇HBase补充学习（一），最近算是实战的过程中发现了一些其他的自己学习的时候尚未注意到的点，有的很简单但是以前尚未意识到的点，有的从未学习过顺便学习到的点，以此开一篇博客进行记录。不定时更新~ 二、补充内容 2.1 HBase Shell与HBase API的思想问题 遇到了一个问题，在程序端已经实现通过API查看HBase表，但有一个需求需要去回到命令行进行查看...
hadoop hbase hive 常见问题解决
热门推荐
lhy66的专栏
03-24 11万+
Hadoop常见问题，hbase常见问题，hive常见问题。结合网络资料 和自己遇到的整理。
hadoop配置过程中的经验总结
weixin_30556161的博客
05-15 194
1，hdfsnamenode–format格式化用这个：hadoopnamenode-format 一些节点的datanode启动不了，说明以前节点中的日志没删除干净，重新删除。http://blog.csdn.net/lulongzhou_llz/article/details/40590427； 其实很简单，针对新加入节点以后，只要把以前节点中的dfs中name、dat...
spark读取hbase报错：java.lang.noclassdeffounderror: org/apache/hadoop/hbase/hbaseconfiguration
最新发布
06-01
<h3>回答1：</h3><br/>这个错误是因为Spark无法找到HBase的配置文件。可能是因为HBase的依赖库没有正确地添加到Spark的classpath中。您需要确保在Spark的classpath中包含了HBase的依赖库，或者将HBase的依赖库添加到Spark的lib目录中。 <h3>回答2：</h3><br/>在使用Spark读取HBase的时候，如果出现“java.lang.noclassdeffounderror: org/apache/hadoop/hbase/hbaseconfiguration”的报错，一般是由于缺少了HBase依赖包或者版本不匹配导致的。 解决方法如下： 1. 确认HBase依赖包是否存在，以及是否与Spark版本兼容。 可以通过以下两种方式解决： ① 直接将HBase的依赖包复制到Spark的lib目录中。具体操作：将HBase的hbase-client-xxx.jar和hbase-common-xxx.jar复制到Spark的安装目录下的lib目录即可。 ② 修改Spark的pom.xml文件，添加HBase的依赖。具体操作：在Spark源码根目录中的pom.xml文件中添加以下代码： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>x.x.x</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <version>x.x.x</version> </dependency> 注意：x.x.x表示HBase的版本号，需要根据实际情况替换。 2. 确认HBase配置文件是否正确。 如果上述方法解决不了问题，可能是HBase的配置文件不正确导致的。请确认HBase的hbase-site.xml文件中是否有以下配置项： <property> <name>hbase.client.keyvalue.maxsize</name> <value>2097152</value> </property> 如果没有，请手动添加并重启HBase服务。 3. 确认系统环境变量是否正确。 如果上述方法都没有解决问题，可以检查系统的环境变量是否正确。请确认系统的HADOOP_CLASSPATH、JAVA_HOME、HBASE_HOME和SPARK_HOME环境变量是否正确设置，以及是否包含了HBase和Spark的相关依赖。 综上所述，出现“java.lang.noclassdeffounderror: org/apache/hadoop/hbase/hbaseconfiguration”报错，在排查的过程中需要关注HBase依赖包、配置文件和系统环境等多方面的原因。需要进行彻底的排查才能找到问题的症结并解决问题。 <h3>回答3：</h3><br/>在 Spark 中读取 HBase 时，可能会出现“ java.lang.noclassdeffounderror: org/apache/hadoop/hbase/hbaseconfiguration ”这个错误。这是因为在 Spark 中没有找到一些必需的 HBase 的类文件，导致无法成功读取 HBase 数据。 解决此问题的步骤如下： 第一步：检查 Classpath 环境变量 请确保 Classpath 环境变量中包含 HBase 和 Hadoop 的 JAR 文件的路径。因为这两个框架的配置文件都被加载到这些 JAR 文件中，如果 Spark 找不到它们，就会导致错误。 如果 Classpath 设置正确，那么需要检查 Spark 主节点的 Spark 配置中是否包含 HBase 和 Hadoop 的 JAR 文件。 这可以通过将 HBase 和 Hadoop JAR 文件置于 Spark 的 lib 目录中来实现。可以使用以下命令检查 SPARK_HOME/lib 目录中是否存在 HBase 和 Hadoop 的 JAR 文件： $ ls $SPARK_HOME/lib | grep -i hbase $ ls $SPARK_HOME/lib | grep -i hadoop 第二步：检查 HBASE_CLASSPATH 环境变量 如果在环境变量中将 HBASE_CLASSPATH 设置为包含配置文件的路径，那么 Spark 可能不会找到它们。 要更正此错误，请确保在 Shell 中运行 HBase 脚本时也加载了这些配置文件。可以通过将 HBase 目录添加到 HBASE_CLASSPATH 环境变量中来实现，例如： $ export HBASE_CLASSPATH=$HBASE_HOME/conf 第三步：操作系统权限问题 还有可能出现因操作系统权限不足而导致无法读取 HBase 数据的情况。此时，可以修改文件的权限以解决此问题。可以使用以下命令检查当前目录下的权限： $ ls -ld $PWD 如果权限不正确，可以使用以下命令更正： $ chmod 777 $PWD 总之，如果 Spark 在从 HBase 读取数据时遇到“ java.lang.noclassdeffounderror: org/apache/hadoop/hbase/hbaseconfiguration ”错误，需要按照上述步骤检查并修复问题，以确保 Spark 可以顺利地从 HBase 读取数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

post_yuan

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值