记录一下HBase Scan过程中的nextCallSeq不匹配问题(记录留档,未解决)

本文详细记录了在HBase扫描过程中遇到的nextCallSeq不匹配问题,包括Lease租约、RPC超时机制、Scan Caching等关键点。分析指出,该问题通常由RPC超时而非租约超时引起,导致客户端和RegionServer的nextCallSeq序列不一致,进而抛出OutOfOrderScannerNextException。解决方案包括理解并调整相关配置,如hbase.regionserver.lease.period和hbase.rpc.timeout。
摘要由CSDN通过智能技术生成

问题记录

最近生产环境扫描HBase过程中,又出现了nextCallSeq不匹配问题。具体报错如下图:

第一个错DoNotRetryIOException,第二个错OutOfOrderScannerNextException
在这里插入图片描述
在开始细说这两个错误前,首先需要明确两个时间概念:租约持续时间与RPC超时时间。因此本文就从HBase scanner租约机制与HBase scan的RPC交互机制谈起。

1、Lease 租约:

RS的租约期,RS的租约设计用于当client端持有RS资源的场景,主要用于scan操作,RS会为client端保留scanner对象,以便多次交互,默认为60000ms, 60s。

客户端必须在该时间内向RS发送心跳信息,否则RS认为client是deaded,超过该时间请求RS时,RS会抛出异常,对于scan操作一次next读取相当于一次心跳(参看:Leases类),在client端用该时间作为scan查询时每次next()的超时时间。

相关参数:
hbase.regionserver.lease.period/scanner.timeout.period(忽略代码配置>hbase-site.xml配置优先级。两个参数在同一配置文件被配置不同值时,配置的hbase.regionserver.lease.period参数生效)

官网解释:

2、RPC:

2.1、关于hbase.rpc.timeout配置:

每次RPC的超时时间,默认为60000ms, 60s,如果没有超时则等待1s后再重试,直到超时或者重试成功,起三个作用:

  1. Socket读数据的超时时间。如果超过超时值,将引发 java.net.SocketTimeoutException具体解释请参考:java.net.Socket.setSoTimeout()的API

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值