HBase scanner 时抛出异常 ScannerTimeoutException

最新推荐文章于 2023-04-16 04:01:02 发布

Dongea

最新推荐文章于 2023-04-16 04:01:02 发布

阅读量1.2k

点赞数

分类专栏： hbase 文章标签： hbase 异常

本文链接：https://blog.csdn.net/Dongea/article/details/73992077

版权

在使用HBase进行scan操作时，可能会遇到ScannerTimeoutException。该异常通常由于scan操作间隔过长、处理程序耗时、caching设置过大、网络或机器负载、HBase本身负载等问题引起。建议优化处理程序，调整scan的caching设置，检查网络和集群状态，查看RegionServer日志，并了解HBase的RegionServer租约期限。通过设置HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY为更长时间可以解决此问题，例如将其设置为120000毫秒。若不希望在代码中修改，可以在集群配置中直接调整。

摘要由CSDN通过智能技术生成

对 HBase 进行 scan 的时候，有时会出现 ScannerTimeoutException 异常，异常如下：

Error: org.apache.hadoop.hbase.client.ScannerTimeoutException: 4196754ms passed since the last invocation, timeout is currently set to 60000
        at org.apache.hadoop.hbase.client.ClientScanner.loadCache(ClientScanner.java:434)
        at org.apache.hadoop.hbase.client.ClientScanner.next(ClientScanner.java:364)
        at org.apache.hadoop.hbase.mapreduce.TableRecordReaderImpl.nextKeyValue(TableRecordReaderImpl.java:222)
        at org.apache.hadoop.hbase.mapreduce.TableRecordReader.nextKeyValue(TableRecordReader.java:147)
        at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase$1.nextKeyValue(TableInputFormatBase.java:216)
        at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556)